[論文レビュー] Meta-learning Adaptive Deep Kernel Gaussian Processes for Molecular Property Prediction

Wenlin Chen, Austin Tripp+1 more|arXiv (Cornell University)|May 5, 2022

Metabolomics and Mass Spectrometry Studies被引用数 8

ひとこと要約

本稿では、implicit function theorem (IFT) を用いた二段階最適化により、メタ学習された特徴抽出器とタスク固有のカーネルパラメータを同時に最適化することで、深層カーネルガウス過程（DKGPs）を効率的に訓練するメタラーニングフレームワーク、ADKF-IFT を提案する。この手法は、少ないデータでの分子性質予測において最先端の性能を達成し、感度の高いハイパーパrameterチューニングを必要とせずに、一般化と適応のバランスを取ることで、ドメイン内およびドメイン外の両方のタスクで先行手法を上回る。

ABSTRACT

We propose Adaptive Deep Kernel Fitting with Implicit Function Theorem (ADKF-IFT), a novel framework for learning deep kernel Gaussian processes (GPs) by interpolating between meta-learning and conventional deep kernel learning. Our approach employs a bilevel optimization objective where we meta-learn generally useful feature representations across tasks, in the sense that task-specific GP models estimated on top of such features achieve the lowest possible predictive loss on average. We solve the resulting nested optimization problem using the implicit function theorem (IFT). We show that our ADKF-IFT framework contains previously proposed Deep Kernel Learning (DKL) and Deep Kernel Transfer (DKT) as special cases. Although ADKF-IFT is a completely general method, we argue that it is especially well-suited for drug discovery problems and demonstrate that it significantly outperforms previous state-of-the-art methods on a variety of real-world few-shot molecular property prediction tasks and out-of-domain molecular property prediction and optimization tasks.

研究の動機と目的

• 限られたデータにおける分子性質予測の信頼性の高い不確実性推定の課題に取り組むこと、特にドラッグディスcoveryにおけるベイズ最適化を想定する。
• 特にドラッグディスcoveryにおいて一般的な小規模データセットでの学習において、深層カーネルガウス過程（DKGPs）の過学習を回避すること。
• 既存のアプローチである深層カーネル学習（DKL）と深層カーネル転送（DKT）を統合・一般化し、一貫したフレームワークとして統合すること。
• 強い仮定やハイパーパrameterの感度に依存しない方法を開発することにより、一般化可能な特徴表現をメタラーニングで得ること。

提案手法

• ADKF-IFT は、深層カーネルGPsの学習を二段階最適化問題として定式化し、タスク全体の平均予測誤差を最小化するようにメタ学習された特徴抽出器パラメータを最適化する。
• 内側の最適化の勾配を計算するためにimplicit function theorem (IFT) を用い、2次更新が効率的に行えるエンドツーエンドの学習を可能にする。
• メタ学習されたパラメータ（例：特徴抽出器の重み）とタスク固有のパラメータ（例：カーネルハイパーパラメータ）を分離することで、分離された最適化が可能になる。
• 実用的なインスタンスでは、すべての特徴抽出器パラメータをメタ学習し、各タスクでカーネルハイパーパラメータのみを適応させる。これによりヘッセ行列の近似を回避し、解釈性が向上する。
• このフレームワークは、DKL（単一タスク学習）とDKT（純粋なメタラーニング）を特別なケースとして一般化し、統一された学習パラダイムを提供する。
• 正確な不確実性の定量化が可能であり、少ないショットおよびドメイン外の分子性質予測に特に適している。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングと深層カーネル学習の長所を統合した、分子性質予測に適した統一フレームワークを開発できるか？
• RQ2 強い事前分布や感度の高いハイパーパラメータに依存せずに、小規模データセットで深層カーネルGPsの過学習を回避するメタラーニングの適用法は何か？
• RQ3 特徴抽出器のメタラーニングとタスク固有のカーネルパラメータの適応を同時に最適化することで、従来手法に比べてより優れた一般化性能と不確実性のキャリブレーションが達成できるか？
• RQ4 提案手法は、ドメイン内およびドメイン外の分子性質予測ベンチマークにおいて、最先端の手法を上回ることができるか？

主な発見

• ADKF-IFT は、FS-Molベンチマークの111個の少ないショット回帰タスクにおいて、従来の最先端手法を顕著に上回り、すべてのサポートセットサイズで低い平均二乗誤差を達成した。
• FS-Molの157個の少ないショット分類タスクにおいても、ADKF-IFT はすべてのベースラインを上回り、サポートセットサイズの増加に伴い一貫した性能向上を示した。
• この手法は、トレーニング分布外の分子性質予測に対しても強力な一般化性能を示しており、ドメイン外への耐性が確認された。
• ADKF-IFT は、感度の高いハイパーパラメータチューニング（例：対照学習におけるγの設定）を必要とせず、ADKL-GP などの先行手法とは異なり、過学習や崩壊を避けるために慎重なバランス調整を要しない。
• このフレームワークは解釈可能でスケーラブルであり、提案されたインスタンスでは正確なヘッセ行列計算が可能で、安定的かつ効率的な学習が可能である。
• 実験結果により、ADKF-IFT がDKLとDKTを一般化していることが確認され、アブレーションスタディでは、メタ学習された特徴抽出器が性能向上の鍵であることが示された。