[論文レビュー] Meta-Learned Confidence for Few-shot Learning

Seong Min Kye, Haebeom Lee+2 more|arXiv (Cornell University)|Feb 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 29

ひとこと要約

本稿では、転移推論中にラベルなしクエリサンプルに対して信頼性が高く入力に適応した信頼度スコアを割り当てる、メタ学習された信頼度メカニズムであるMeta-Confidence Transduction (MCT)を提案する。多様なモデルおよびデータの摂動下で距離メトリックをメタ学習し、摂動および埋め込み次元にわたる予測の一貫性を強制することで、MCTは4つの少サンプルベンチマークデータセットで最先端の性能を達成し、半教師あり少サンプル学習の精度を顕著に向上させる。

ABSTRACT

Transductive inference is an effective means of tackling the data deficiency problem in few-shot learning settings. A popular transductive inference technique for few-shot metric-based approaches, is to update the prototype of each class with the mean of the most confident query examples, or confidence-weighted average of all the query samples. However, a caveat here is that the model confidence may be unreliable, which may lead to incorrect predictions. To tackle this issue, we propose to meta-learn the confidence for each query sample, to assign optimal weights to unlabeled queries such that they improve the model's transductive inference performance on unseen tasks. We achieve this by meta-learning an input-adaptive distance metric over a task distribution under various model and data perturbations, which will enforce consistency on the model predictions under diverse uncertainties for unseen tasks. Moreover, we additionally suggest a regularization which explicitly enforces the consistency on the predictions across the different dimensions of a high-dimensional embedding vector. We validate our few-shot learning model with meta-learned confidence on four benchmark datasets, on which it largely outperforms strong recent baselines and obtains new state-of-the-art results. Further application on semi-supervised few-shot learning tasks also yields significant performance improvements over the baselines. The source code of our algorithm is available at https://github.com/seongmin-kye/MCT.

研究の動機と目的

• 転移的少サンプル学習におけるモデルの信頼度の信頼性のなさに起因する性能低下を是正すること。
• ラベルなしクエリデータを用いたプロトタイプ更新を最適化する入力に適応した信頼度スコアの学習により、転移的推論を向上させること。
• 多様なモデルおよびデータの摂動下でメタ学習することにより、未学習タスクにおける不確実性を模擬し、信頼度推定の信頼性を向上させること。
• 異なる摂動および埋め込み次元にわたる予測の一貫性を強制することで、モデルの頑健性および一般化性能を向上させること。
• 転移的および半教師あり少サンプル学習ベンチマークにおいて本手法を検証し、最先端の結果を達成すること。

提案手法

• 入力に適応した距離メトリックの長さスケールパラメータをメタ学習し、クエリサンプルに対して個別に信頼度スコアを算出可能にする。
• メタ学習中にモデル摂動（例：ランダムな残差ブロックの除去）およびデータ摂動（例：RandAugment、CutOut）を適用し、未学習タスクにおける不確実性を模擬する。
• 推論時において、複数の摂動付き順方向伝搬の信頼度スコアをアンサンブル平均することで、頑健性を向上させる。
• 異なる増幅処理下での埋め込み分布の整合性を保つことで、サポートセットとクエリセット間の整合性を強制する。
• 高次元埋め込み特徴量にわたる一貫性を促進する次元別一貫性正則化を導入する。
• 分類、プロトタイプ更新、一貫性の目的関数を統合した損失関数を用いて、エンドツーエンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 メタ学習された入力に適応した信頼度スコアは、少サンプル学習における転移的推論性能を向上させ得るか？
• RQ2 メタ学習中に適用されるモデルおよびデータの摂動は、未学習タスクにおける信頼度推定の信頼性にどのように影響するか？
• RQ3 摂動および埋め込み次元にわたる予測の一貫性を強制することで、モデルの頑健性および精度はどの程度向上するか？
• RQ4 提案手法は半教師あり少サンプル学習に一般化可能であり、既存のベースラインと比較してどのように性能を発揮するか？
• RQ5 各構成要素（例：メタ学習されたメトリック、摂動、一貫性正則化）の全体的性能への寄与度はいかほどか？

主な発見

• MCTは4つの少サンプル学習ベンチマークで最先端の性能を達成し、強力なベースラインを大きく上回る。
• miniImageNetでは1ショットで65.34%、5ショットで82.15%の精度を達成し、インスタンスごとのメトリックベースラインを8.89ポイント上回った。
• サポートセットには弱い増幅処理、クエリセットには強い増幅処理（w/sペア）を適用することで最高の性能が得られ、クエリ表現の多様性の恩恵が示された。
• グローバル平均プーリング（GAP）を削除し、密度付き分類を採用することで性能が向上した。これは空間的特徴情報の保持が有効であることを示している。
• アブレーションスタディにより、メタ学習された信頼度と摂動に基づく不確実性モデリングの両方が、信頼性の高い信頼度推定に不可欠であることが確認された。
• 半教師あり少サンプル学習においても、MCTはベースラインを顕著に上回り、転移的推論を超えた強い一般化性能を示した。