[論文レビュー] Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification

Jijie Wu, Dongliang Chang+6 more|arXiv (Cornell University)|Nov 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、細分類の少サンプル画像分類のための双方向特徴再構成ネットワーク（Bi-FRN）を提案する。本手法は、サポートからクエリへの再構成によりクラス間ばらつきを増加させるとともに、クエリからサポートへの再構成によりクラス内ばらつきを低減する相互再構成メカニズムを導入している。本手法は3つのベンチマークデータセットにおいて最先端の性能を達成し、再構成ベースおよびメトリックベースの先行手法を上回っている。これは、双方向特徴再構成と自己再構成モジュールを統合することで、より判別性の高い細分類特徴を学習するためである。

ABSTRACT

The main challenge for fine-grained few-shot image classification is to learn feature representations with higher inter-class and lower intra-class variations, with a mere few labelled samples. Conventional few-shot learning methods however cannot be naively adopted for this fine-grained setting -- a quick pilot study reveals that they in fact push for the opposite (i.e., lower inter-class variations and higher intra-class variations). To alleviate this problem, prior works predominately use a support set to reconstruct the query image and then utilize metric learning to determine its category. Upon careful inspection, we further reveal that such unidirectional reconstruction methods only help to increase inter-class variations and are not effective in tackling intra-class variations. In this paper, we for the first time introduce a bi-reconstruction mechanism that can simultaneously accommodate for inter-class and intra-class variations. In addition to using the support set to reconstruct the query set for increasing inter-class variations, we further use the query set to reconstruct the support set for reducing intra-class variations. This design effectively helps the model to explore more subtle and discriminative features which is key for the fine-grained problem in hand. Furthermore, we also construct a self-reconstruction module to work alongside the bi-directional module to make the features even more discriminative. Experimental results on three widely used fine-grained image classification datasets consistently show considerable improvements compared with other methods. Codes are available at: https://github.com/PRIS-CV/Bi-FRN.

研究の動機と目的

• 既存の少サンプル学習手法が細分類画像分類において、誤ってクラス内ばらつきを増加させ、クラス間ばらつきを減少させるという限界に対処すること。
• 単方向再構成手法が、クラス内ばらつきを効果的に低減しないまま、クラス間ばらつきのみを増加させるという欠点を克服すること。
• クラス間の判別性を向上させるとともに、クラス内変動を抑制する、新たな双方向再構成メカニズムを提案すること。
• 自己再構成モジュールを相互再構成モジュールと統合することで、より強固な表現学習を実現するための特徴判別性を向上させること。

提案手法

• モデルは双方向特徴再構成メカニズムを採用：サポート特徴からクエリ特徴を再構成することでクラス間ばらつきを増加させ、クエリ特徴からサポート特徴を再構成することでクラス内ばらつきを低減する。
• 特徴相互再構成モジュール（FMRM）を導入し、両方向の再構成を重み付き損失関数を用いて同時に最適化する。
• 特徴の自己再構成をさらに促進するため、自己再構成モジュール（FSRM）を追加する。
• フレームワークは、特徴抽出バックボーン（例：Conv-4 または ResNet-12）を用い、分類のためのメトリック学習を実施する。再構成損失は特徴レベルに適用される。
• 再構成プロセスでは、特徴から画像を回復するための学習済みデコーダ（逆ResNet）を用い、再構成の正確性を可視化・検証可能にする。
• 全体の訓練目的は、メトリック学習損失と二重再構成損失を組み合わせたものであり、クラス間・クラス内学習ダイナミクスのバランスを取るためにハイパーパrameterを設定している。

実験結果

リサーチクエスチョン

• RQ1 双方向再構成メカニズムは、細分類の少サンプル学習において、クラス内ばらつきを効果的に低減するとともに、クラス間ばらつきを増加させることができるか？
• RQ2 従来のサポートからクエリへの再構成と比較して、クエリからサポートへの再構成は、特徴の判別性をどのように向上させるか？
• RQ3 強い教師信号が存在しない状況下で、自己再構成モジュールの導入が、特徴品質をどの程度向上させるか？
• RQ4 相互再構成メカニズムは、単方向またはベースライン手法と比較して、より局所的かつ意味的に一貫性のある注目マップを生成するか？
• RQ5 提案手法は、1ショットおよび5ショット設定下で、多様な細分類データセットにおいてどの程度の性能を示すか？

主な発見

• 提案されたBi-FRN手法は、CUB-200-211、Stanford Dogs、FG-WILLOWの3つのベンチマークデータセットすべてで最先端の精度を達成し、FRN や ProtoNet を含む先行手法を上回っている。
• CUB-200-211データセットでは、ResNet-12を用いた5クラス1ショット設定で86.7%の精度、5ショット設定で92.1%の精度を達成した。
• アブレーションスタディの結果、FSRMおよびFMRMモジュールの両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下し、それらの補完的役割が示された。
• 相互再構成モジュール（FMRM）は、単方向バージョン（S→Q または Q→S のみ）を上回り、細分類特徴学習において双方向学習がより効果的であることを実証した。
• 可視化結果から、同一クラスのサンプルから再構成された特徴は意味的に一貫しており、異なるクラスのものとは相違することが確認され、モデルが強固でクラスに整合した表現を学習できていることが裏付けられた。
• デコーダを用いた画像回復実験により、再構成された特徴が構造的および意味的詳細を保持しており、特に同一クラスのサンプル再構成時において顕著であることが検証された。