[論文レビュー] Rich Semantics Improve Few-shot Learning

Mohamed Afham, Salman Khan+3 more|arXiv (Cornell University)|Apr 26, 2021

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本論文は、クラスレベルの自然言語記述を補助学習信号として用いることで一般化性能を向上させる、RS-FSLと呼ばれる few-shot learning フレームワークを提案する。ハイブリッドな視覚的・意味的プロトタイプから記述を生成する双方向トランスフォーマーを訓練することで、モデルはより分離され、人間が解釈可能な表現を学習し、正則化として機能させることで、標準的な few-shot ベンチマークにおいてベースライン比最大5.97%の精度向上を達成する。

ABSTRACT

Human learning benefits from multi-modal inputs that often appear as rich semantics (e.g., description of an object's attributes while learning about it). This enables us to learn generalizable concepts from very limited visual examples. However, current few-shot learning (FSL) methods use numerical class labels to denote object classes which do not provide rich semantic meanings about the learned concepts. In this work, we show that by using 'class-level' language descriptions, that can be acquired with minimal annotation cost, we can improve the FSL performance. Given a support set and queries, our main idea is to create a bottleneck visual feature (hybrid prototype) which is then used to generate language descriptions of the classes as an auxiliary task during training. We develop a Transformer based forward and backward encoding mechanism to relate visual and semantic tokens that can encode intricate relationships between the two modalities. Forcing the prototypes to retain semantic information about class description acts as a regularizer on the visual features, improving their generalization to novel classes at inference. Furthermore, this strategy imposes a human prior on the learned representations, ensuring that the model is faithfully relating visual and semantic concepts, thereby improving model interpretability. Our experiments on four datasets and ablation studies show the benefit of effectively modeling rich semantics for FSL.

研究の動機と目的

• 数値的なクラスラベルのみを用いることで生じる意味的ギャップを是正すること。
• トレーニング中に低コストで人間が読みやすいクラスレベルの記述を組み込むことで、未知のクラスへの一般化性能を向上させること。
• サポートセットのプロトタイプの自然言語記述を予測させることで、視覚的特徴の学習の一貫性を強制すること。
• 生成された記述を用いて、どの属性が誤分類されたかを分析可能にするなど、モデルの解釈可能性を向上させること。
• アーキテクチャの大幅な見直しを必要とせず、複数の FSL ベースラインで性能を向上させる即挿しモジュールを提供すること。

提案手法

• 学習可能な集約メカニズムを用いて、サポート画像とクエリ画像の特徴を統合し、ハイブリッドな視覚的・意味的プロトタイプを構築する。
• 双方向トランスフォーマー・デコーダーを訓練し、ハイブリッドプロトタイプから自然言語記述を生成させ、視覚的および意味的トークン間の長距離依存関係をモデル化する。
• 言語記述生成をトレーニング中の補助タスクとして用いることで、視覚的特徴の学習を正則化し、一般化性能を向上させる。
• 視覚的特徴と言語トークンの間で双方向的相互作用を可能にするために、トランスフォーマー内に二方向アテンション機構を実装する。
• 言語生成タスクにおけるクロスエントロピー損失を用いてエンドツーエンドでモデルを訓練するが、同時に主な分類目的を維持する。
• 推論時には言語デコーダーを破棄するが、予測結果の解釈可能性とエラー分析のために保持する。

実験結果

リサーチクエスチョン

• RQ1 自然言語記述を通じて豊かな意味的属性をモデル化することで、少数のサンプル学習の一般化性能が向上するか？
• RQ2 クラスレベルの記述を補助タスクとして用いることで、視覚的特徴の判別力と転送性にどのような影響を与えるか？
• RQ3 双方向と単方向の言語デコーディングの違いが、少数のサンプル学習性能に与える影響は何か？
• RQ4 クラスレベルの記述数が、モデルの精度と飽和度に与える影響は何か？
• RQ5 提案手法は、アーキテクチャの変更なしに、既存の FSL ベースラインに効果的に統合可能か？

主な発見

• 提案された RS-FSL メソッドは、CUB データセットにおいて 5 ワイ 1 ショットの平均精度 63.86% を達成し、意味的情報を含まないベースライン ProtoNet よりも 5.97% の向上を示した。
• 双方向トランスフォーマーによるデコーディングは、単方向デコーディングに比べて 1.83% の性能向上を示し、視覚的および言語的トークン間の二重相互作用の利点を裏付けた。
• 20 個のクラスレベル記述が性能ピークに達し、以降は利得が飽和する傾向を示しており、記述数が中程度を超えると効果が薄れることが示された。
• 2 層のトランスフォーマー・デコーダーを搭載したモデルが最高の精度（63.86%）を達成したが、より深いモデル（3～5 層）は小規模データセットでの過学習により性能が低下した。
• 回転予測、単語埋め込み、GRU を用いた言語モデリングといった他の補助自己教師信号手法よりも、それぞれ 4.6%、3.61%、2.62% の優位性を示した。
• 1 時間のトレーニングオーバーヘッド（ベースラインの 4 時間対 5 時間）を伴うものの、miniImageNet では 2% の性能向上を達成し、費用対効果の観点から好ましいトレードオフであることが示された。