[論文レビュー] Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels

Massimiliano Patacchiola, Jack Turner+3 more|arXiv (Cornell University)|Oct 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 62

ひとこと要約

Deep Kernel Transfer (DKT) を紹介する。深層カーネルを用いたベイズ的メタ学習アプローチで、内側ループの最適化を必要とせず、少数ショットの回帰・分類・クロスドメインタスクを実行し、不確実性推定を提供する。

ABSTRACT

Recently, different machine learning methods have been introduced to tackle the challenging few-shot learning scenario that is, learning from a small labeled dataset related to a specific task. Common approaches have taken the form of meta-learning: learning to learn on the new problem given the old. Following the recognition that meta-learning is implementing learning in a multi-level model, we present a Bayesian treatment for the meta-learning inner loop through the use of deep kernels. As a result we can learn a kernel that transfers to new tasks; we call this Deep Kernel Transfer (DKT). This approach has many advantages: is straightforward to implement as a single optimizer, provides uncertainty quantification, and does not require estimation of task-specific parameters. We empirically demonstrate that DKT outperforms several state-of-the-art algorithms in few-shot classification, and is the state of the art for cross-domain adaptation and regression. We conclude that complex meta-learning routines can be replaced by a simpler Bayesian model without loss of accuracy.

研究の動機と目的

• 関連タスクに跨る非常に小さなラベル付きデータセットから学ぶという課題に動機づけ、対処する。
• タスク固有のパラメータを周辺化することによって、マルチレベルのメタ学習に対するベイズ的代替手段を提供する。
• 共通カーネルをタスク間で転送し、周辺尤度 (ML-II) によって超パラメータを最適化する Deep Kernel Transfer (DKT) 手法を開発する。
• 深層カーネルを用いたより単純な階層ベイズモデルが、回帰・クロスドメイン・分類のベンチマークにおいて、複雑なメタ学習手法に匹敵するか、それを上回ることを示す。

提案手法

• 少数ショット学習を、共有されたタスク間カーネルハイパパラメータとタスク固有の潜在表現を持つ階層ベイズ問題としてモデル化する。
• 入力をニューラルネットワーク F_phi を介して潜在空間に写像する深層カーネル学習を用い、次にカーネル k'(h,h') がガウス過程の共分散を提供する。
• メタ学習の内ループを解析的なガウス過程の周辺尤度で置き換え、クロスタスクパラメータ（カーネルハイパパラメータ theta とネットワーク重み phi）のみを最適化する。
• 回帰の閉じた形式予測分布を導出する（ガウス尤度）と、分類の回帰ベースの処理（ラベル回帰／最小二乗分類）を行う。
• タスク全体での対数周辺尤度を最大化して、ミニバッチごとにタスクをサンプリングすることで stochastic ML-II によって学習する。

実験結果

リサーチクエスチョン

• RQ1 多数のタスクにわたって学習され、転送可能な単一の深層カーネルが、少数ショット回帰、クロスドメイン適応、分類で競争力のあるまたは優れた性能を提供できるか？
• RQ2 ベイズ積分（ML-II）によりタスク固有の内ループパラメータを周辺化すると、標準的なメタ学習と比較して堅牢な不確実性推定とより単純な最適化が得られるか？
• RQ3 in-domain, out-of-domain, および cross-domain の少数ショットシナリオにおいて、Deep Kernel Transfer は最先端のメタ学習ベースラインと比較してどう機能するか？
• RQ4 異なるカーネル（例：RBF 対 Spectral）と特徴量正規化が、少数ショットの性能と不確実性にどのような影響を与えるか？

主な発見

• DKT は、回帰タスクにおいて、いくつかの最先端の少数ショット手法に競合するか、あるいは優れた性能を達成し、範囲外の入力の取り扱いと不確実性推定の改善を含む。
• DKT 内でスペクトルカーネルを用いると、未知の周期関数回帰および頭部姿勢トラジェクトリタスクで特に強力な性能を示す。
• DKT はクロスドメイン分類で強力な結果を示し、多くのベースラインを上回り、いくつかのベンチマークにおいて同等の手法の中で最先端の成績を達成する。
• このアプローチは予測における不確実性の定量化を提供し、低データ条件や入力の破損下で意味のあることが示される。
• カーネルトランスファーを用いたより単純なベイズモデルは、精度を犠牲にすることなく、複雑なメタ学習手順と同等かそれを上回ることができる。