[論文レビュー] Transductive Few-shot Learning with Meta-Learned Confidence.

Seong Min Kye, Haebeom Lee+2 more|arXiv (Cornell University)|Feb 27, 2020

Domain Adaptation and Few-Shot Learning被引用数 23

ひとこと要約

本稿では、摂動下での入力に適応する距離尺度のメタラーニングと、埋め込み次元全体にわたる予測の一貫性を保証することで、信頼性の高いモデルが学習した信頼度スコアに基づいて、ラベルなしのクエリサンプルを適応的に重み付けすることにより、帰納的少数-shot学習を改善するメタラーニングされた信頼度を提案する。この手法により、4つのベンチマークで最先端の性能を達成し、半教師付き少数-shot学習において顕著な向上を示した。

ABSTRACT

Transductive inference is an effective means of tackling the data deficiency problem in few-shot learning settings. A popular transductive inference technique for few-shot metric-based approaches, is to update the prototype of each class with the mean of the most confident query examples, or confidence-weighted average of all the query samples. However, a caveat here is that the model confidence may be unreliable, which may lead to incorrect predictions. To tackle this issue, we propose to meta-learn the confidence for each query sample, to assign optimal weights to unlabeled queries such that they improve the model's transductive inference performance on unseen tasks. We achieve this by meta-learning an input-adaptive distance metric over a task distribution under various model and data perturbations, which will enforce consistency on the model predictions under diverse uncertainties for unseen tasks. Moreover, we additionally suggest a regularization which explicitly enforces the consistency on the predictions across the different dimensions of a high-dimensional embedding vector. We validate our few-shot learning model with meta-learned confidence on four benchmark datasets, on which it largely outperforms strong recent baselines and obtains new state-of-the-art results. Further application on semi-supervised few-shot learning tasks also yields significant performance improvements over the baselines. The source code of our algorithm is available at this https URL.

研究の動機と目的

• 帰納的少数-shot学習における信頼度の不安定さが、クラスプロトタイプの更新時に性能を低下させる問題に対処すること。
• メタラーニングを用いて、ラベルなしのクエリサンプルの最適な重みを学習することで、帰納的推論を改善すること。
• 摂動データおよびモデルバリアントを介した一貫性のある距離尺度のメタラーニングにより、分布シフトや不確実性に対しても頑健性を確保すること。
• 高次元埋め込みベクトルの次元にわたる明示的な一貫性の強制により、予測の信頼性を向上させること。
• 少数-shot学習ベンチマークで最先端の性能を達成し、半教師付き少数-shot学習を改善すること。

提案手法

• さまざまなモデルおよびデータの摂動下で、タスクの分布にわたる入力に適応する距離尺度をメタラーニングし、信頼度の信頼性を向上させること。
• メタラーニングされた信頼度を用いて、帰納的推論中にラベルなしのクエリサンプルに最適な重みを割り当て、プロトタイプの更新を改善すること。
• 埋め込み空間の異なる次元にわたる予測の一貫性を強制する正則化を適用し、ばらつきを低減し、頑健性を向上させること。
• タスクの分布を用いてエンドツーエンドで信頼度モデルを訓練し、未観測の少数-shotタスクに一般化できるようにすること。
• 信頼度メカニズムをメトリックベースの少数-shot学習フレームワークに統合し、動的で適応的なプロトタイプの最適化を可能にすること。
• メタトレーニング中に摂動を活用し、不確実性をシミュレートし、ノイズや曖昧なクエリを含む未観測タスクに対してもモデルが良好に一般化できるようにすること。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングされた信頼度は、信頼性の高いラベルなしクエリサンプルの重み付けにより、少数-shot学習における帰納的推論の信頼性を向上させることができるか？
• RQ2 摂動下での距離尺度のメタラーニングは、未観測の少数-shotタスクにおける頑健性と一般化性能をどのように向上させるか？
• RQ3 埋め込み次元全体にわたる一貫性の強制は、予測の安定性と正確性をどの程度向上させるか？
• RQ4 提案手法は、標準的な少数-shot学習ベンチマークで最先端の性能を達成するか？
• RQ5 メタラーニングされた信頼度メカニズムは、半教師付き少数-shot学習設定に効果的に転送可能か？

主な発見

• 提案手法は、4つのベンチマーク少数-shot学習データセットで、強力な最近のベースラインを上回る、新たな最先端の結果を達成した。
• 半教師付き少数-shot学習において顕著な性能向上を示し、低データ環境下でのメタラーニングされた信頼度の有効性を裏付けた。
• 埋め込み次元にわたる一貫性を強制する正則化は、予測の安定性を向上させ、より良い一般化に寄与した。
• 摂動下での信頼度のメタラーニングにより、より信頼性が高く頑健なプロトタイプの更新が可能になり、過信度の高いまたは誤った予測の影響が低減された。
• アブレーションスタディにより、メタラーニングされた信頼度と一貫性正則化の両方が最適な性能を達成するために不可欠であることが確認された。