[論文レビュー] Meta-Learning with Latent Embedding Optimization

Andrei A. Rusu, Dushyant Rao+5 more|arXiv (Cornell University)|Jul 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 210

ひとこと要約

LEO はデータ依存のモデルパラメータの潜在表現を学習し、この低次元空間で勾配ベースの適応を実施して、mini ImageNet と tiered ImageNet の少数ショット分類で最先端の結果を達成します。

ABSTRACT

Gradient-based meta-learning techniques are both widely applicable and proficient at solving challenging few-shot learning and fast adaptation problems. However, they have practical difficulties when operating on high-dimensional parameter spaces in extreme low-data regimes. We show that it is possible to bypass these limitations by learning a data-dependent latent generative representation of model parameters, and performing gradient-based meta-learning in this low-dimensional latent space. The resulting approach, latent embedding optimization (LEO), decouples the gradient-based adaptation procedure from the underlying high-dimensional space of model parameters. Our evaluation shows that LEO can achieve state-of-the-art performance on the competitive miniImageNet and tieredImageNet few-shot classification tasks. Further analysis indicates LEO is able to capture uncertainty in the data, and can perform adaptation more effectively by optimizing in latent space.

研究の動機と目的

• 高次元モデルに対する勾配ベースのメタ学習で、極端なデータ不足時のサンプル効率のギャップに対処する。
• 少数ショットデータを条件としてモデルパラメータを生成・適応する低次元潜在空間を提案する。
• mini ImageNet と tiered ImageNet の少数ショット課題で最先端の性能を示す。
• 潜在空間の最適化が不確実性を捉え、マルチモーダルなタスク分布をサポートするかを調査する。

提案手法

• LEO（Latent Embedding Optimization）を導入し、少数ショットデータに条件付けられた確率的潜在空間を学習する。
• 関係ネットワークを用いてクラス間関係を捉える潜在コードへと few-shot サンプルをエンコードする。
• 潜在コードをデコードして、分類器のタスク特有のトップ層パラメータを生成する。
• 潜在コードに対する内部ループ勾配更新を行い、更新されたコードを新しいパラメータへデコードする。
• 検証損失を内部ループおよびエンコーダ／デコーダネットワークを通してKL正則化付きの潜在空間とともに逆伝播してメタトレーニングする。
• データ条件付きエンコーダと確率的で低次元の潜在空間を用いて、デコーダを通してパラメータ空間での勾配ベースの適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 少数ショットデータで条件付けられたモデルパラメータ上の低次元潜在空間は、効果的な勾配ベースの適応を支援できるか。
• RQ2 潜在空間での最適化は少数ショットの一般化を改善し、マルチモーダルなタスク分布の不確実性を捉えるか。
• RQ3 LEO は標準的な少数ショットベンチマークで既存の最適化ベースのメタ学習手法とどう比較されるか。
• RQ4 潜在コードによるデータ依存のパラメータ初期化は性能向上にとって重要か。

主な発見

モデル	mini ImageNet 1-shot	mini ImageNet 5-shot	tiered ImageNet 1-shot	tiered ImageNet 5-shot
Meta-SGD (our features)	54.24±0.03%	70.86±0.04%	62.95±0.03%	79.34±0.06%
Conditional generator only	60.33±0.11%	74.53±0.11%	65.17±0.15%	78.77±0.03%
Conditional generator + fine-tuning	60.62±0.31%	76.42±0.09%	65.74±0.28%	80.65±0.07%
Previous SOTA	59.60±0.41%	76.70±0.30%	57.41±0.94%	72.69±0.74%
LEO (random prior)	61.01±0.12%	77.27±0.05%	65.39±0.10%	80.83±0.13%
LEO (deterministic)	61.48±0.05%	76.53±0.24%	66.18±0.17%	82.06±0.08%
LEO (no fine-tuning)	61.62±0.15%	77.46±0.12%	66.14±0.17%	80.89±0.11%
LEO (ours)	61.76±0.08%	77.59±0.12%	66.33±0.05%	81.44±0.09%

• LEO は mini ImageNet および tiered ImageNet の 1-shot および 5-shot 精度で、浅層・深層バックボーンの両方で最先端を達成。
• mini ImageNet では、LEO は 61.76%（1-shot）および 77.59%（5-shot）を報告設定で達成し、従来法を上回る。
• tiered ImageNet では、LEO は 66.33%（1-shot）および 81.44%（5-shot）を達成し、従来の最先端を上回る。
• アブレーションにより、データ条件付き潜在エンコードと潜在空間適応の両方が性能に不可欠であり、潜在ボトルネックが直接的なパラメータ空間適応より一般化を大きく高めることが示された。
• 潜在表現は大幅な適応を可視化し、エンコーダ由来のコードからタスク固有の適応コードへLEO下で移動することを示している。