[論文レビュー] Deep Kernel Transfer in Gaussian Processes for Few-shot Learning

Massimiliano Patacchiola, Jack Turner+2 more|arXiv (Cornell University)|Oct 11, 2019

Gaussian Processes and Bayesian Inference参考文献 51被引用数 19

ひとこと要約

本稿では、少数ショット学習のためのガウス過程におけるディープカーネル転送を提案する。タスク固有のパrameter推定を経由せずに、学習済みカーネルをタスク間で転送することで、少数ショット回帰、分類、クロスドメイン適応の性能を向上させるとともに、不確実性の定量化を提供する。

ABSTRACT

Humans tackle new problems by making inferences that go far beyond the information available, reusing what they have previously learned, and weighing different alternatives in the face of uncertainty. Incorporating these abilities in an artificial system is a major objective in machine learning. Towards this goal, we adapt Gaussian Processes (GPs) to tackle the problem of few-shot learning. We propose a simple, yet effective variant of deep kernel learning in which the kernel is transferred across tasks, which we call deep kernel transfer. This approach is straightforward to implement, provides uncertainty quantification, and does not require estimation of task-specific parameters. We empirically demonstrate that the proposed method outperforms several state-of-the-art algorithms in few-shot regression, classification, and cross-domain adaptation.

研究の動機と目的

• 関連するタスクからの事前知識を活用することで、少数ショット学習の課題に対処すること。
• 限られたラベル付き例からの有効な一般化を可能にすること。これは、従来の少数ショット手法の主な制限要因である。
• ガウス過程におけるタスク固有のパrameter推定を回避するカーネル転送メカニズムを導入すること。
• 少数ショット回帰、分類、クロスドメイン適応タスクにおける性能を向上させること。
• 予測と併せて不確実性推定を提供すること。これは、意思決定が重要な応用分野において重要な利点である。

提案手法

• タスク間で深層カーネル関数を転送することで、ガウス過程を少数ショット学習に適応すること。
• メタ学習段階で得られたタスクの分布から学習された共通の深層カーネル構造を使用すること。
• カーネルを事前学習済みで転送可能な形に固定することで、タスク固有のハイパーパrameterの学習を回避すること。
• 少数のラベル付き例でのみ新しいタスクに適用可能な転送済みカーネルを用いることで、高速な推論を実現すること。
• ガウス過程が内蔵する不確実性定量化機能を活用し、予測の信頼性を評価すること。
• 深層カーネルを少数ショットタスクの分布上で学習させることで、未観測のタスクへの一般化を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のパrameterチューニングを伴わずに、ガウス過程におけるカーネル転送が少数ショット一般化を向上させ得るか？
• RQ2 回帰および分類において、ディープカーネル転送は最先端の少数ショット学習手法と比較してどのように性能を発揮するか？
• RQ3 クロスドメイン適応タスクにおいて、この手法はどの程度異なるデータ分布間で一般化可能か？
• RQ4 低データ環境下でも、この手法が信頼性のある不確実性推定を維持できるか？
• RQ5 多様な少数ショットベンチマークでテストした場合、このアプローチの頑健性はどの程度か？

主な発見

• 提案されたディープカーネル転送手法は、回帰および分類において、多数の最先端の少数ショット学習アルゴリズムを上回る性能を達成した。
• クロスドメイン適応においても強力な性能を発揮し、異なるデータ分布間での転送可能性を示した。
• タスク固有のパrameter推定を回避することで、学習および推論の簡素化を実現しながらも、高い精度を維持した。
• ガウス過程のフレームワークにより、低データ環境下での信頼性ある意思決定に不可欠な意味のある不確実性推定が得られた。
• 実験的結果から、カーネル転送が多様な少数ショットタスクにおける一般化を顕著に向上させることを確認した。