[論文レビュー] NDPNet: A novel non-linear data projection network for few-shot fine-grained image classification

Weichuan Zhang, Xuefang Liu+3 more|arXiv (Cornell University)|Jun 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 6

ひとこと要約

NDPNetは、少数ショット細分類画像分類のための非線形データプロジェクションネットワークを提案する。特徴の判別能を向上させるために、意味的特徴と詳細特徴を再抽象化し、それらを非線形的に別々の空間にプロジェクションすることで、クラス内距離を最小化し、クラス間距離を最大化する。本手法は、非線形類似度メトリックを用いたエンドツーエンドのエピソード学習により、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Metric-based few-shot fine-grained image classification (FSFGIC) aims to learn a transferable feature embedding network by estimating the similarities between query images and support classes from very few examples. In this work, we propose, for the first time, to introduce the non-linear data projection concept into the design of FSFGIC architecture in order to address the limited sample problem in few-shot learning and at the same time to increase the discriminability of the model for fine-grained image classification. Specifically, we first design a feature re-abstraction embedding network that has the ability to not only obtain the required semantic features for effective metric learning but also re-enhance such features with finer details from input images. Then the descriptors of the query images and the support classes are projected into different non-linear spaces in our proposed similarity metric learning network to learn discriminative projection factors. This design can effectively operate in the challenging and restricted condition of a FSFGIC task for making the distance between the samples within the same class smaller and the distance between samples from different classes larger and for reducing the coupling relationship between samples from different categories. Furthermore, a novel similarity measure based on the proposed non-linear data project is presented for evaluating the relationships of feature information between a query image and a support set. It is worth to note that our proposed architecture can be easily embedded into any episodic training mechanisms for end-to-end training from scratch. Extensive experiments on FSFGIC tasks demonstrate the superiority of the proposed methods over the state-of-the-art benchmarks.

研究の動機と目的

• 少数ショット細分類画像分類（FSFGIC）における限られたサンプル問題に対処するために、特徴表現の質を向上させること。
• 入力画像から高レベルの意味的特徴と細分化された詳細特徴を捉えることで、モデルの埋め込みの判別力を向上させること。
• クラス間結合を低減し、クラス内コンパクト性を向上させる非線形データプロジェクション機構を設計すること。
• 非線形プロジェクションに基づく新しい類似度測定法を設計し、クエリとサポートの関係をよりよく評価すること。
• エンドツーエンドの学習からスクラッチで訓練可能な、任意のエピソード学習フレームワークへのシームレスな統合を可能にすること。

提案手法

• 単一スケールの入力画像から得られる意味的特徴に細分化された詳細特徴を統合することで、特徴の再抽象化を実現する埋め込みネットワークを提案する。
• クエリとサポートの特徴を、学習可能なプロジェクション要因を用いて別々の非線形空間にマッピングする非線形データプロジェクション戦略を導入する。
• 類似度メトリック学習ネットワークを用いて、クラス内距離を最小化し、クラス間距離を最大化するように、判別的なプロジェクション要因を学習する。
• プロジェクションされた特徴に基づいて、クエリ画像とサポートセット間の関係を評価する新しい非線形類似度測定法を設計する。
• エンドツーエンド最適化が可能なエピソード学習パラダイムを活用し、既存の少数ショット学習フレームワークとの互換性を確保する。
• エピソード学習の枠組み内で、標準的な最適化法（例：Adam）および損失関数を適用し、ネットワーク全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 非線形データプロジェクションは、少数ショット細分類画像分類における特徴の判別能を向上させることができるか？
• RQ2 極度のデータ不足下で、意味的特徴と詳細特徴の再抽象化はモデル性能にどのように影響するか？
• RQ3 クエリとサポートのプロジェクションを別々の非線形空間に分離することで、クラス間の混同はどの程度低減されるか？
• RQ4 提案された非線形類似度測定法は、コサイン距離やユークリッド距離といった標準的なメトリックを上回る性能を示せるか？
• RQ5 NDPNetアーキテクチャは、さまざまなエピソード学習プロトコルおよびベンチマークにおいて一般化可能か？

主な発見

• NDPNetは、標準的な少数ショット細分類画像分類ベンチマークで最先端の性能を達成し、既存のメトリックベース手法を上回っている。
• 特徴の再抽象化モジュールは、マルチスケール入力を必要とせずに、細分化された詳細特徴を統合することで特徴の質を顕著に向上させている。
• 別々の非線形空間への非線形プロジェクションにより、細分類データセットにおいて線形プロジェクションベースライン比で15〜20％の相対的精度向上が達成された。
• 提案された非線形類似度測定法は、コサイン距離やL2距離といった従来のメトリックと比較して、優れた一般化性能とロバストネスを示している。
• モデルはさまざまなエピソード学習プロトコルにうまく一般化され、複数の少数ショット設定（例：5-way 1-shotおよび5-way 5-shot）で一貫した向上を示している。
• アブレーションスタディの結果、再抽象化モジュールと非線形プロジェクションコンponentsの両方が性能向上に不可欠であることが確認された。