[論文レビュー] Few-shot Classification via Adaptive Attention

Zihang Jiang, Bingyi Kang+2 more|arXiv (Cornell University)|Aug 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 13

ひとこと要約

本稿では、メタ再重み付け戦略を用いて、サポートサンプルから関連する特徴を動的に強調することで、クエリ表現を精緻化する、適応的アテンションを用いた新規少数ショット分類手法を提案する。空間的アテンションマップを生成することで判別的領域を局所化し、miniImageNetおよび細分化画像データセットにおいて最先端の性能を達成する。従来手法と比較して顕著な性能向上を示しながらも、軽量かつ解釈可能性に優れている。

ABSTRACT

Training a neural network model that can quickly adapt to a new task is highly desirable yet challenging for few-shot learning problems. Recent few-shot learning methods mostly concentrate on developing various meta-learning strategies from two aspects, namely optimizing an initial model or learning a distance metric. In this work, we propose a novel few-shot learning method via optimizing and fast adapting the query sample representation based on very few reference samples. To be specific, we devise a simple and efficient meta-reweighting strategy to adapt the sample representations and generate soft attention to refine the representation such that the relevant features from the query and support samples can be extracted for a better few-shot classification. Such an adaptive attention model is also able to explain what the classification model is looking for as the evidence for classification to some extent. As demonstrated experimentally, the proposed model achieves state-of-the-art classification results on various benchmark few-shot classification and fine-grained recognition datasets.

研究の動機と目的

• 新しいクラスに対してわずかなサポート例しか与えられない状況下で一般化できる少数ショット分類の課題に対処すること。
• 従来のメタラーニングおよびメトリックベースの手法が直面する高コストな最適化やサポート-クエリ関係への柔軟性の欠如といった制限を克服すること。
• わずかなサポートサンプルから関連する特徴を動的に注目することでクエリ表現を向上させる、軽量で効率的なフレームワークの開発。
• サポートクラスに対応するクエリ画像内の判別的領域を強調するアテンションマップを生成することで、モデルの解釈可能性を向上させること。

提案手法

• メタ再重み付け戦略により、小さなニューラルネットワークを用いてサポート特徴からチャネルごとのアテンション係数を生成し、要素ごとの乗算によってクエリ特徴を精緻化する。
• 精緻化されたクエリおよびサポート特徴を連結し、アテンションモジュールを通過させてクエリ画像内の関連領域を強調する空間的アテンションマップを生成する。
• 生成されたアテンションマップを用いて、クエリ表現から関係のない特徴をフィルタリングし、サポートサンプルと意味的に整合する部分に注目する。
• 最終的な精緻化された表現を分類器に供給し、クエリラベルを予測する。アテンション機構により、性能向上と解釈可能性の両方が達成される。
• 推論時にテストデータ拡張を適用し、重み生成プロセスの安定性を高め、耐性を向上させる。
• 全フレームワークはエンドツーエンドで学習可能であり、反復的最適化を必要としないため、MAMLスタイルの手法と比較して計算効率が優れている。

実験結果

リサーチクエスチョン

• RQ1 メタ再重み付け戦略は、わずかなサポートサンプルのみを用いてクエリ表現を効果的に適応させ、少数ショット分類の性能を向上させることができるか？
• RQ2 アテンション機構を固定的またはグローバルなものではなく、サポートサンプルに適応させることで、局所化精度と分類精度を向上させることができるか？
• RQ3 提案手法は、標準的な少数ショットベンチマークにおいて、従来のメトリックベースおよびメタラーニング手法と比較して、より優れた性能と一般化能力を達成するか？
• RQ4 モデルが生成するアテンションマップは、分類意思決定の根拠として解釈可能である証拠をどの程度提供できるか？
• RQ5 MAMLのような最適化ベースのメタラーニング手法と比較して、提案手法はより効率的かつ訓練が容易であるか？

主な発見

• 提案手法は、5-way 1-shotのminiImageNetベンチマークで64.51% ± 0.95の最先端精度を達成し、従来のSOTA手法を顕著に上回った。
• 細分化画像データセットでは、5-way 1-shotで70.73% ± 0.97、5-way 5-shotで87.72% ± 0.53の精度を達成し、多様な少数ショットタスクにわたる強力な一般化能力を示した。
• アブレーションスタディの結果、メタ再重み付けを特徴連結に置き換えると1-shotで51.31%に性能が低下し、空間的構造を保持する重要性が浮き彫りになった。
• テストデータ拡張を導入することで、1-shotでの精度が56.12%から56.33%に向上し、重み生成の安定性が向上したことが示された。
• モデルが生成するアテンションマップは、例えばネズミなど、注目対象のオブジェクトを明確に局所化している一方、連結ベースのベースラインは混乱をきたし、判別的でないマップを生成した。
• 分類器部は不可欠である。分類器を削除してアテンションマップのみで分類に依存すると、精度が低下し、専用の分類ヘッドの利点が確認された。