[論文レビュー] Task Discrepancy Maximization for Fine-grained Few-Shot Classification

SuBeen Lee, WonJun Moon+1 more|arXiv (Cornell University)|Jul 4, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、クラス固有のチャネル重みを学習することで特徴の識別性を向上させる、新しいファイングレインド・フェイシュート分類用モジュールであるタスク不一致最大化（TDM）を提案する。TDMは、サポートセットから特徴を特定するサポートアテンションモジュール（SAM）と、クエリ画像におけるオブジェクト関連チャネルを動的に強調するクエリアテンションモジュール（QAM）を用い、CUB、Aircraft、meta-iNatのベンチマークにおいて顕著な精度向上を達成する。

ABSTRACT

Recognizing discriminative details such as eyes and beaks is important for distinguishing fine-grained classes since they have similar overall appearances. In this regard, we introduce Task Discrepancy Maximization (TDM), a simple module for fine-grained few-shot classification. Our objective is to localize the class-wise discriminative regions by highlighting channels encoding distinct information of the class. Specifically, TDM learns task-specific channel weights based on two novel components: Support Attention Module (SAM) and Query Attention Module (QAM). SAM produces a support weight to represent channel-wise discriminative power for each class. Still, since the SAM is basically only based on the labeled support sets, it can be vulnerable to bias toward such support set. Therefore, we propose QAM which complements SAM by yielding a query weight that grants more weight to object-relevant channels for a given query image. By combining these two weights, a class-wise task-specific channel weight is defined. The weights are then applied to produce task-adaptive feature maps more focusing on the discriminative details. Our experiments validate the effectiveness of TDM and its complementary benefits with prior methods in fine-grained few-shot classification.

研究の動機と目的

• 外見が類似しているファイングレインドクラスを区別する課題に対処するため、局所的な特徴に焦点を当てる。
• 既存のフェイシュート手法がすべての特徴チャネルを同等に扱うという限界を克服し、ファイングレインドデータセットにおける性能を損なう要因を低減する。
• クラス固有の識別力に基づいて動的にチャネル重みを設定する、タスクに適応した特徴アライメント機構を開発する。
• サポートセットからのバイアスに対して頑健性を確保するため、クエリに依存したアテンションを組み込むことで動的適応を実現する。

提案手法

• TDMは、サポートセットの特徴に基づいてクラスごとのチャネル重みを計算するサポートアテンションモジュール（SAM）を導入し、識別力の高いチャネルを強調する。
• クエリ画像におけるオブジェクト関連特徴を強調するために、クエリ固有のチャネル重みを生成するクエリアテンションモジュール（QAM）を採用する。
• 個々のチャネルマップと空間的に平均化された特徴マップの類似度を測定することで、チャネル重みを計算する。この平均化された特徴マップはオブジェクトレベルの意味をエンコードする。
• SAMとQAMの重みを組み合わせて、タスク固有でクラスごとのチャネル重みを生成し、特徴マップの再重み付けを実現することで識別性を向上させる。
• 標準的な距離メトリクス（ユークリッド距離およびコサイン距離）と互換性があるため、既存のフェイシュート学習フレームワークへの統合が可能である。
• 平均プーリングを用いて参照用の空間的平均特徴マップを計算する。これは最大プーリングよりもノイズに対してより頑健であるため。

Figure 1 : Effect of the channel weight in the CUB dataset. (a) Existing methods treat channels of feature maps equally. In such case, high variance channels within a class highly likely to disturb the classification task, where channel variance represents the channel-wise variances of feature maps

実験結果

リサーチクエスチョン

• RQ1 外見が類似しているファイングレインドデータセットにおいて、クラス固有のチャネル重みを学習することでフェイシュート分類の性能が向上するか？
• RQ2 サポートおよびクエリの特徴に基づいて、動的にチャネルの重要性を適応させるモジュールは、バイアスを低減し、局所化精度を向上させることができるか？
• RQ3 TDMは、ファイングレインドフェイシュート学習ベンチマークにおいて、既存の特徴アライメント手法をどの程度上回るか？
• RQ4 提案手法は、さまざまな距離メトリクスおよびバックボーンアーキテクチャにおいて、頑健かつ互換性があるか？

主な発見

• CUBデータセットにおいて1ショット設定で69.94%の精度を達成し、ベースラインのProtoNetを7.04ポイント上回った。
• Aircraftデータセットでは、1ショット精度を47.37%から50.55%へ、5ショット精度を68.96%から71.12%へ向上させた。
• FRNと組み合わせた場合、meta-iNatの1ショット精度を61.98%から63.97%へ、5ショット精度を80.04%から81.60%へ向上させた。
• アブレーションスタディの結果、SAMとQAMは有効かつ補完的であり、SAMは11%の向上をもたらし、QAMは一貫した改善を示した。
• コサイン距離でも優れた性能を維持しており、複数のメトリック学習フレームワークとの互換性を示した。
• 平均プーリングが最大プーリングを上回り、特徴表現におけるノイズ耐性を確認した。

Figure 2 : Visualization of pooling results. Each column shows the locations where each pooling method focuses on the image. The second and third columns visualize the results of average pooling and the max pooling, respectively. GAP tends to concentrate on the object parts in the images, while GMP