[論文レビュー] Multi-scale Adaptive Task Attention Network for Few-Shot Learning

Haoxing Chen, Huaxiong Li+2 more|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 15

ひとこと要約

本稿では、マルチスケールの局所表現とタスクに適応したアテンションを統合的に活用することで、異なるスケールで最も判別性の高い特徴を動的に強調することにより、メトリック学習を向上させる、新しい少数ショット学習フレームワークであるMulti-scale Adaptive Task Attention Network (MATANet) を提案する。MATANetは、ResNet12を用いて、5-way 1-shotで53.63%、5-way 5-shotで72.67%の精度を達成し、標準ベンチマークで最先端性能を実現した。

ABSTRACT

The goal of few-shot learning is to classify unseen categories with few labeled samples. Recently, the low-level information metric-learning based methods have achieved satisfying performance, since local representations (LRs) are more consistent between seen and unseen classes. However, most of these methods deal with each category in the support set independently, which is not sufficient to measure the relation between features, especially in a certain task. Moreover, the low-level information-based metric learning method suffers when dominant objects of different scales exist in a complex background. To address these issues, this paper proposes a novel Multi-scale Adaptive Task Attention Network (MATANet) for few-shot learning. Specifically, we first use a multi-scale feature generator to generate multiple features at different scales. Then, an adaptive task attention module is proposed to select the most important LRs among the entire task. Afterwards, a similarity-to-class module and a fusion layer are utilized to calculate a joint multi-scale similarity between the query image and the support set. Extensive experiments on popular benchmarks clearly show the effectiveness of the proposed MATANet compared with state-of-the-art methods.

研究の動機と目的

• 異なるタスクにおいてもすべての局所特徴を同等に扱う既存の局所表現ベースの手法の限界を解消する。
• 複雑な背景においても、主なオブジェクトのスケール変動が性能を低下させる問題を克服する。
• 各サポートサンプルごとに独立して処理するのではなく、タスク全体の文脈内での特徴間関係をモデル化することで、少数ショット分類性能を向上させる。
• 少ないラベル付き例での一般化を高めるために、タスクに関連するマルチスケールの局所表現をエンドツーエンドで学習可能にする。

提案手法

• クエリ画像およびサポート画像から、複数の空間スケールで局所表現（LRs）を抽出するマルチスケール特徴生成器を採用する。
• 各局所表現に対してタスクに適応したアテンションスコアを計算するアダプティブタスクアテンションモジュールを導入し、現在の分類タスクに最も関連する特徴を強調する。
• タスク文脈内におけるすべてのLRsにおいて、クエリとサポートの特徴間の類似度を測定するためのセマンティック関係行列を構築する。
• 重み付き集約を用いてマルチスケール類似度をクラスレベルの予測にマップする類似度→クラスモジュールを実装する。
• 学習されたアテンション重みに基づいてマルチスケール類似度を統合するアダプティブフィュージョンレイヤーを適用し、スケール変動に対するロバスト性を向上させる。
• 分類用にクロスエントロピー損失を用いて、アテンション機構を同時に最適化するように、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 与えられた少数ショットタスク内での判別性の高さに基づいて、局所表現を動的に重みづける方法は何か？
• RQ2 画像内での主なオブジェクトのスケールが変動する状況下で、マルチスケール特徴表現が少数ショット分類性能にどの程度寄与するか？
• RQ3 すべてのLRを同等に扱うのではなく、最も情報量の多い局所特徴に注目することで、タスクに適応したアテンション機構が性能向上に寄与するか？
• RQ4 単一スケールまたは均等重みベースの手法と比較して、マルチスケール特徴とアダプティブアテンションを統合した手法は、少数ショット学習でどの程度優れているか？

主な発見

• MATANetは、ResNet12を用いて5-way 1-shotのmini-ImageNetベンチマークで53.63%の精度を達成し、同設定下での最先端手法を上回った。
• 5-way 5-shot設定では、ResNet12を用いて72.67%の精度に到達し、限られたサポートサンプルでも強力な一般化性能を示した。
• アブレーションスタディの結果、アダプティブタスクアテンションモジュールを削除すると、1-shotタスクで3.7%、5-shotタスクで4.8%の精度低下が生じ、その重要性が確認された。
• マルチスケール特徴生成器は顕著な貢献を示し、1-shotタスクで1.3%、5-shotタスクで0.9%の精度向上をもたらした。
• 類似度→クラスモジュールは、1-shotタスクで1.1%、5-shotタスクで0.8%の向上をもたらし、クラスレベル集約における有効性が裏付けられた。
• アブレーションスタディにおいて、コサイン類似度がユークリッド距離やタニモト係数を上回り、アダプティブアテンションモジュールにおける最適なメトリック関数であった。