[論文レビュー] Adaptive Cross-Modal Few-Shot Learning

Xing Chen, Negar Rostamzadeh+2 more|arXiv (Cornell University)|Feb 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 5

ひとこと要約

本論文は、少サンプル学習における分類精度を向上させるために、視覚的特徴と意味的特徴を動的に組み合わせる新しい手法である適応的モダリティ混合機構（AM3）を提案する。データ不足に応じてモダリティの寄与度を動的に重み付けすることで、AM3は、特に低ショット状況下で、単一モダリティおよびモダリティ統合手法を上回り、miniImageNet、tieredImageNet、CUB-200データセットで最先端の結果を達成する。

ABSTRACT

Metric-based meta-learning techniques have successfully been applied to few-shot classification problems. In this paper, we propose to leverage cross-modal information to enhance metric-based few-shot learning methods. Visual and semantic feature spaces have different structures by definition. For certain concepts, visual features might be richer and more discriminative than text ones. While for others, the inverse might be true. Moreover, when the support from visual information is limited in image classification, semantic representations (learned from unsupervised text corpora) can provide strong prior knowledge and context to help learning. Based on these two intuitions, we propose a mechanism that can adaptively combine information from both modalities according to new image categories to be learned. Through a series of experiments, we show that by this adaptive combination of the two modalities, our model outperforms current uni-modality few-shot learning methods and modality-alignment methods by a large margin on all benchmarks and few-shot scenarios tested. Experiments also show that our model can effectively adjust its focus on the two modalities. The improvement in performance is particularly large when the number of shots is very small.

研究の動機と目的

• 少量のラベル付きデータに苦しむ単一モダリティの少サンプル学習手法の限界を克服し、クロスモダリティ情報を取り入れること。
• 異種の視覚的および意味的空間を共有構造に強制的に統合するモダリティ統合アプローチの欠陥を克服すること。
• データの可用性およびカテゴリ固有の特性に応じて、視覚的および意味的モダリティの強みを適応的に活用するメカニズムを開発すること。
• 未教師付きのテキスト特徴を文脈的事前知識として用いることで、特に低ショット状況における少サンプル分類性能を向上させること。

提案手法

• AM3は、ProtoNets++ や TADAM などのメトリックベースのメタラーニングフレームワークに構築されており、これらは少サンプル分類のための学習済み埋め込み空間を利用する。
• 本手法は、推論時に視覚的および意味的特徴表現の凸結合を実行する学習可能な混合係数 λ を導入する。
• 混合係数 λ はエピソードごとおよびクラスごとに予測され、各少サンプルタスクにおけるモダリティ強度に応じた動的適応を可能にする。
• モデルはエピソード学習を用いてエンドツーエンドで訓練され、各エピソードは視覚的および意味的両モダリティからのサポートセットおよびクエリセットを含む少サンプル分類タスクをシミュレートする。
• AM3はモダリティ統合を強制しない。代わりに、視覚的および意味的特徴を独立した知識源とみなしつつ、どちらに依存するかを学習する。
• 適応的メカニズムは、正確な分類を促進するとともに、λ を通じたモダリティ注視を学習する微分可能損失関数によって最適化される。

実験結果

リサーチクエスチョン

• RQ1 固定されたモダリティ統合や単一モダリティベースラインを上回る、視覚的および意味的特徴の適応的統合が少サンプル分類性能を向上させ得るか？
• RQ2 モデルのモダリティ注視（λ）は、ショット数の変動およびカテゴリ固有の特徴にどのように適応するか？
• RQ3 視覚的データが極めて限られている場合（例：1ショット）に、未教師付きのテキスト特徴を組み込むことで性能が顕著に向上するか？
• RQ4 視覚的信号がノイズが多く不十分な状況下で、適応的メカニズムがより効果的であるか？
• RQ5 多様なベンチマークにおいて、最先端の単一モダリティおよびクロスモダリティ少サンプル学習手法と比較して、AM3はどのように性能を発揮するか？

主な発見

• TADAMバックボーンを用いたAM3は、5クラス1ショット設定下でminiImageNetで69.08%の精度を達成し、以前の最先端手法を大きく上回る。
• tieredImageNetでは、AM3-TADAMが5クラス1ショット設定で82.58%の精度に達し、データセット間での強力な一般化能力を示している。
• ショット数が増加するにつれて、AM3とそのバックボーンモデルとの性能差が縮小する傾向にあり、これは適応的メカニズムが視覚的データが不足している状況で最も有効であることを示している。
• 混合係数 λ の分散は性能差と相関している：λ の分散が小さいほど性能向上が小さいことから、カテゴリ固有の適応が向上の主因であることが示唆される。
• AM3は、特に1ショット状況下でモダリティ統合ベースラインを顕著に上回り、強制的な統合が少サンプル学習において性能を損なう可能性があることを示している。
• CUB-200では、少サンプルおよび一般化少サンプル学習の両設定でAM3が優れた性能を維持しており、そのロバストネスと一般化能力を確認している。