[論文レビュー] Learning to Affiliate: Mutual Centralized Learning for Few-shot Classification

Yang Liu, Weifeng Zhang+4 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 9

ひとこと要約

本稿では、マーカフ過程における双方向ランダムウォークを介してクエリおよびサポート特徴集合間の相互帰属関係をモデル化する、少サンプル分類のための双方向フレームワークである相互集中学習（MCL）を提案する。密度のある特徴の到達可能性を中央性スコアとして測定することで、最小限の計算コストで少サンプルベンチマークで最先端の性能を達成する。

ABSTRACT

Few-shot learning (FSL) aims to learn a classifier that can be easily adapted to accommodate new tasks not seen during training, given only a few examples. To handle the limited-data problem in few-shot regimes, recent methods tend to collectively use a set of local features to densely represent an image instead of using a mixed global feature. They generally explore a unidirectional query-to-support paradigm in FSL, e.g., find the nearest/optimal support feature for each query feature and aggregate these local matches for a joint classification. In this paper, we propose a new method Mutual Centralized Learning (MCL) to fully affiliate the two disjoint sets of dense features in a bidirectional paradigm. We associate each local feature with a particle that can bidirectionally random walk in a discrete feature space by the affiliations. To estimate the class probability, we propose the features' accessibility that measures the expected number of visits to the support features of that class in a Markov process. We relate our method to learning a centrality on an affiliation network and demonstrate its capability to be plugged in existing methods by highlighting centralized local features. Experiments show that our method achieves the state-of-the-art on both miniImageNet and tieredImageNet.

研究の動機と目的

• 少サンプル学習における一方向特徴マッチングの制限を克服するため、クエリ特徴とサポート特徴間の相互帰属関係をモデル化すること。
• マーカフ過程に基づく新しい密度特徴の到達可能性メトリックを提案し、クラス確率を推定すること。
• 密度特徴をラベルなしデータとして扱うことで、ラベル伝搬のような推論的メソッドを帰納的少サンプル学習に適応できることを示すこと。
• 提案された中央性スコアが帰属ネットワークにおける単一モード固有ベクトル中央性と等価であることを示し、既存モデルへのプラグイン統合を可能にすること。
• 標準的な少サンプルベンチマークで最先端の性能を達成しながら、効率的な推論を維持すること。

提案手法

• 離散的特徴空間において、各局所特徴をクエリおよびサポート特徴集合間を双方向にランダムウォークを実行する粒子に割り当てる。
• 時間定常なマーカフ過程における、特定クラスの特徴への訪問回数の期待値として予測確率を定義し、これを「密度特徴の到達可能性」と呼ぶ。
• ランダムウォークの定常分布を効率的に計算するためにKatz近似を用い、特殊構造（I - αP）のブロックワイド行列逆行列を用いることで時間計算量をO(r³)に削減する。
• 二部グラフ特徴集合を帰属ネットワークとしてモデル化し、到達可能性測度が単一モード固有ベクトル中央性に対応することを示す。
• MCL中央性を、グローバル特徴ベースのモデル（例：ProtoNet や RelationNet）にプラグインとして統合する。具体的には、グローバル平均プーリングをタスク集中型の局所特徴に置き換える。
• Grad-CAM可視化を用いて、MCLが意味的に関連する領域に注目しており、サポートとクエリ特徴間の相互整合性を促進していることを定性的に検証する。

実験結果

リサーチクエスチョン

• RQ1 クエリおよびサポート特徴集合間の双方向特徴帰属関係は、一方向マッチングパラダイムを上回る少サンプル分類性能を実現できるか？
• RQ2 マーカフ過程における特定クラスの特徴への訪問回数の期待値を測定することで、より頑健で一般化可能な分類スコアが得られるか？
• RQ3 密度特徴をラベルなしデータとして扱うことで、ラベル伝搬のような推論的メソッドを帰納的少サンプル学習設定に効果的に適応できるか？
• RQ4 提案された密度特徴の到達可能性は、既知のネットワーク中央性測度と等価であるか？また、この等価性は理論的根拠とモデル統合を可能にするか？
• RQ5 MCLフレームワークは、顕著な計算コストを伴わず、効率的に実装可能であり、最先端の性能を達成できるか？

主な発見

• MCLは、DN4、DeepEMD、FRNなどの既存の密度特徴ベース手法を上回る、標準的な少サンプルベンチマークで最先端の性能を達成する。
• α=0.5のMCL-Katz近似は、12×12の特徴マップを用いた5ウェイ1ショットタスクにおいて、1エピソードあたり29.10msの低推論オーバーヘッドを達成しており、双方向計算にもかかわらず効率的であることを示している。
• 特殊構造（I - αP）のブロックワイド行列逆行列を用いることで、時間計算量をO(r³)に削減し、効率的な計算を可能にする。
• Grad-CAM可視化により、MCLが意味的に関連する領域に注目しており、サポートとクエリ特徴間の相互整合性を促進していることが確認された。
• 実験では、双方向ウォークによる相互帰属関係の導入が、一方向ベースラインを上回る性能向上をもたらすことが示され、アブレーションスタディにより双方向パラダイムの利点が裏付けられた。
• 本手法は、ProtoNetなどの既存のグローバル特徴ベースモデルに、グローバル平均プーリングをタスク集中型の局所特徴に置き換えることで、スムーズに統合可能であり、性能向上が見られた。