[論文レビュー] Information Theoretic Meta Learning with Gaussian Processes

Michalis K. Titsias, Ruiz, Francisco J. R.+2 more|arXiv (Cornell University)|Sep 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 5

ひとこと要約

本論文は、情報ボトルネック原理における相互情報量を近似するために変分推論を用いる、情報理論的枠組みに基づくメタラーニングの新規フレームワークを提案する。ガウス過程を用いた非パrametricなタスク符号化のメモリベース手法を提案し、少サンプル回帰で最先端の性能を達成するとともに、4つの少サンプル分類ベンチマークでも競争力ある結果を示し、回帰タスクではMAMLを上回った。

ABSTRACT

We formulate meta learning using information theoretic concepts; namely, mutual information and the information bottleneck. The idea is to learn a stochastic representation or encoding of the task description, given by a training set, that is highly informative about predicting the validation set. By making use of variational approximations to the mutual information, we derive a general and tractable framework for meta learning. This framework unifies existing gradient-based algorithms and also allows us to derive new algorithms. In particular, we develop a memory-based algorithm that uses Gaussian processes to obtain non-parametric encoding representations. We demonstrate our method on a few-shot regression problem and on four few-shot classification problems, obtaining competitive accuracy when compared to existing baselines.

研究の動機と目的

• 情報ボトルネックに基づく原理的で情報理論的な枠組みを用いて、既存のメタラーニングアルゴリズムを統一すること。
• 既存の手法を統合・拡張できる一般で取り扱い可能な学習原理の欠如を解消すること。
• 非パrametricなタスク符号化にガウス過程を用いた新しいメモリベースのメタラーニングアルゴリズムを開発すること。
• 提案されたフレームワークの有効性を少サンプル回帰および分類タスクにおいて示すこと。

提案手法

• タスク表現とサポート／検証セット間の相互情報量を最適化問題として定式化すること。
• 情報ボトルネックにおける計算不能な相互情報量を変分推論で近似し、実用的な目的関数（変分情報ボトルネック：VIB）を導出すること。
• ガウス過程を用いてタスクのサポートセットの確率的符号化をモデル化することで、メモリベースのアルゴリズムを導出すること。これにより、非パrametricな表現学習が可能になる。
• 深層ニューラルカーネルを特徴表現を抽出するために用い、カーネル関数は線形またはコサイン類似度に基づく。
• 共有エンコーダーネットワークを用いたアンモタライズド推論により、タスクごとのガウス過程の事後分布を効率的に計算すること。
• すべてのデータセットに同一の正則化係数 β = 0.001 を用いて、安定性を示し、ハイパーパramータは標準的な最適化により調整した。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネックのような情報理論的原則が、メタラーニングの統一的枠組みを提供できるか？
• RQ2 相互情報量の変分近似を用いることで、勾配ベースとメモリベースの両方のメタラーニングアルゴリズムを導出できるか？
• RQ3 非パrametricなGPベースの符号化は、MAMLのようなパラメトリックモデルを上回ることができるか？
• RQ4 提案されたフレームワークは、競争力のある性能を示しながら少サンプル分類タスクに一般化できるか？
• RQ5 多様な少サンプルベンチマークで、広範なハイパーパramータチューニングなしに最先端の結果を達成できるか？

主な発見

• 少サンプルサインスイド回帰タスクにおいて、GP-VIBはMAMLよりも低い誤差を達成し、回帰設定における優れた一般化性能を示した。
• mini-ImageNetおよびCUBの少サンプル分類ベンチマークにおいて、GP-VIBは一部の設定で最先端の精度を達成した。特にコサイン類似度カーネルでは顕著な性能を示した。
• コサイン類似度カーネルを用いたGP-VIBモデルは、5ショットCUBで78.35%（±0.23）の精度を達成し、MAMLやDKTベースの手法をすべて上回った。
• クロスドメインの少サンプル分類（Omniglot → EMNIST）において、GP-VIB（CosSim）は40.70%（±0.48）の精度を達成し、そのスプリットで最高の性能を示した。
• 本手法はすべてのベンチマークで競争力ある性能を示し、1つの固定されたβハイパーパramータでさえ、最良のベースラインとほぼ同等の結果を達成した。
• 本フレームワークはMAMLや確率的MAMLといった勾配ベースの手法をうまく再現できており、その一般性と理論的根拠の妥当性を裏付けた。