[論文レビュー] Adaptive Deep Kernel Learning

Prudencio Tossou, Basile Dura+3 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 19

ひとこと要約

本稿では、少数のサンプルからの回帰性能を向上させるために、深層ニューラルネットワークを用いてタスク固有のカーネルの族を学習する、新しいフレームワークである適応的ディープカーネル学習（ADKL）を提案する。テスト時におけるセット埋め込みと微分可能なカーネル手法を用いてカーネルを適応的に変更することで、単一カーネルのDKLや最先端のモデルを上回る性能を示し、実世界のドラッグディスカバリーや合成的FSRベンチマークにおいて、優れた汎化性能とアクティブラーニングの効率性を実証した。

ABSTRACT

Deep kernel learning provides an elegant and principled framework for combining the structural properties of deep learning algorithms with the flexibility of kernel methods. By means of a deep neural network, we learn a parametrized kernel operator that can be combined with a differentiable kernel algorithm during inference. While previous work within this framework has focused on learning a single kernel for large datasets, we learn a kernel family for a variety of few-shot regression tasks. Compared to single deep kernel learning, our algorithm enables the identification of the appropriate kernel for each task during inference. As such, it is well adapted for complex task distributions in a few-shot learning setting, which we demonstrate by comparing against existing state-of-the-art algorithms using real-world, few-shot regression tasks related to the field of drug discovery.

研究の動機と目的

• データが限られる分野（例：ドラッグディスカバリ）における実世界の少数のサンプルからの回帰ベンチマークの不足に対処すること。
• 固定カーネルまたはメトリクスに基づく手法の制限を克服するため、テスト時におけるカーネル適応を可能にすることで、少数のサンプルからの回帰の汎化性能を向上させること。
• 一つのグローバルカーネルではなく、タスク固有のカーネルの族を学習するディープカーネル学習フレームワークを構築すること。
• 標準的およびアクティブラーニングの両設定において、実世界のFSRデータセットに対して本手法を評価し、最先端のアルゴリズムと比較すること。
• ガウス過程（GP）によるベイジアン不確実性推定が、決定的モデル（例：CNP）に比べて、アクティブサンプル選択においてより効果的であることを示すこと。

提案手法

• ADKLは、入力特徴量を潜在空間に埋め込むために深層ニューラルネットワークを用い、タスク固有のカーネル学習を可能にする。
• セット埋め込み技術を用いてサポートセットをタスク表現に符号化し、カーネルハイパーパrameterの条件付けに使用する。
• 微分可能なカーネル手法（特にカーネルリッジ回帰（KRR）とガウス過程（GP））を組み合わせることで、勾配ベース最適化によるエンドツーエンド学習を可能にする。
• タスクエンコーダーの学習を安定化させ、多様な少数のサンプルタスクにわたる汎化性能を向上させるために、メタ正則化項を導入する。
• カーネルハイパーパrameterは、テスト時にサポートセットに基づいて動的に選択され、新しいタスクへの適応的汎化を可能にする。
• アクティブラーニングは、GPバージョンからの不確実性推定を活用し、予測エントロピーが最大となるサンプルを選択することで統合される。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のカーネルの族を学習するディープカーネル学習フレームワークは、少数のサンプルからの回帰において、単一カーネルのDKLよりも優れた汎化性能を示せるか？
• RQ2 テスト時におけるカーネル適応は、固定カーネルまたはメトリクスに基づく手法と比較して、少数のサンプルからの回帰性能をどのように向上させるか？
• RQ3 GPベースのADKLによるベイジアン不確実性推定は、CNPのような決定的モデルに比べて、より効果的なアクティブラーニングを実現できるか？
• RQ4 線形カーネルとRBFカーネルなどの異なる基本カーネルや正則化の影響は、メタラーニング設定における汎化性能にどのように寄与するか？
• RQ5 ドラッグディスカバリーより得られた実世界の少数のサンプルからの回帰ベンチマークは、FSRアルゴリズムの評価と発展に有効に利用できるか？

主な発見

• ADKL-GPは、正弦波ベンチマークにおいて、CNPよりも著しく少ないクエリ数で最適な性能に到達する。
• ADKL-GPは20クエリまで安定した性能を維持するが、CNPは10クエリを超えると性能が低下する傾向を示し、より優れた汎化性能を示している。
• 非ゼロのメタ正則化（γ）を用いることで、ハイパーパrameterの設定にかかわらず汎化性能が向上し、タスクエンコーダーの安定化に寄与することが示された。
• すべての設定において、RBFカーネルよりも線形カーネルがより優れた汎化性能を示した。これは、RBFの場合に共有スケーリングパラメータの適応が難しく、その影響によるものと推定される。
• ADKL-KRRおよびADKL-GPの両方が、単一カーネルのDKLを上回り、カーネルの族を学習することでテスト時の適応性が向上することを実証した。
• 著者らは、ドラッグディスカバリーより得た2つの実世界のFSRデータセットを公開し、今後の実用的少数のサンプルからの回帰研究のための新たなベンチマークを提供した。