[論文レビュー] Deep Metric Learning for Few-Shot Image Classification: A Review of Recent Developments

Xiaoxu Li, Xiaochen Yang+2 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は2018年から2022年の間の少数ショット画像分類のための最近の深層度量学習手法をレビューし、特徴埋め込みの学習、クラス表現の学習、距離測度の学習の3段階に分類する。主な革新点、課題、今後の方向性を特定し、分布シフトへの耐性、少数サンプルからの一般化の向上、エピソード学習の限界を含む。

ABSTRACT

Few-shot image classification is a challenging problem that aims to achieve the human level of recognition based only on a small number of training images. One main solution to few-shot image classification is deep metric learning. These methods, by classifying unseen samples according to their distances to few seen samples in an embedding space learned by powerful deep neural networks, can avoid overfitting to few training images in few-shot image classification and have achieved the state-of-the-art performance. In this paper, we provide an up-to-date review of deep metric learning methods for few-shot image classification from 2018 to 2022 and categorize them into three groups according to three stages of metric learning, namely learning feature embeddings, learning class representations, and learning distance measures. With this taxonomy, we identify the novelties of different methods and problems they face. We conclude this review with a discussion on current challenges and future trends in few-shot image classification.

研究の動機と目的

• 2018年から2022年までの少数ショット画像分類のための深層度量学習手法について包括的かつ最新のレビューを提供すること。
• 既存の手法を度量学習の3段階に分類すること：特徴埋め込みの学習、クラス表現の学習、距離測度の学習。
• 現在のアプローチにおける主な革新点、限界、未解決の課題を特定すること、特に一般化、耐性、学習戦略に関する点を含む。
• 少数ショット学習と深層度量学習のコミュニティ間の相互作用を強調し、相互に刺激し合う機会を提案すること。
• ドメインシフト、敵対的耐性、エピソード学習の非効率性といった新たな課題を議論し、今後の研究方向性を提案すること。

提案手法

• 本論文は、2018年から2022年までの深層度量学習の分野における100件以上の最近の研究を体系的にレビューする。
• 3段階の分類法を導入する：(1) 深層ニューラルネットワークを用いた判別的特徴埋め込みの学習、(2) プロトタイプやグラフベースの構造のようなクラス表現の学習、(3) 埋め込み空間における距離または類似度測度の学習。
• miniImageNet や tieredImageNet といったベンチマークデータセットでの性能、アーキテクチャ設計、学習パラダイムに基づいて手法を評価する。
• 注意メカニズム、データ拡張、マルチタスク学習が少数サンプルからの特徴一般化を向上させる役割を分析する。
• グラフニューラルネットワーク（GNNs）と分布伝搬技術について議論し、2点間の比較を超えて、サポートサンプル間のグローバルな関係をモデル化する。
• エピソード学習戦略とその限界を批判的に評価し、特に災難的忘却と低品質エピソードに敏感な点を指摘する。

実験結果

リサーチクエスチョン

• RQ1 最近の深層度量学習手法は、少数ショット画像分類において、少数のラベル付きサンプルからどのように一般化を向上させているか？
• RQ2 少数ショット分類のための特徴埋め込み学習、クラス表現学習、距離測度学習において、主なアーキテクチャ的・学習的革新は何であるか？
• RQ3 なぜエピソード学習は実際の応用において問題となるのか？低品質または外れ値を含むエピソードに過剰適合を避けるにはどうすればよいか？
• RQ4 現在の少数ショット度量学習モデルは、敵対的摂動、ラベルノイズ、分布シフトに対してどのような主な脆弱性を示しているか？
• RQ5 度量学習手法は、ベースドメインとネイティブドメインが著しく異なる場合に、どのようにしてクロスドメイン少数ショット分類に対応できるか？

主な発見

• 深層度量学習手法は、少数のトレーニングサンプルに過剰適合を抑えるような判別的埋め込みと距離測度を学習することで、少数ショット画像分類で最先端の性能を達成している。
• 分布特徴を用いてクエリサンプルとすべてのサポートサンプル間のグローバルな関係をモデル化する、DPGN（Distribution Propagation Graph Network）のようなグラフベースの手法は、性能を向上させる。
• 標準的ではあるが、エピソード学習は、硬直的なエピソード設計とエピソード品質のフィルタリングが不足しているために、災難的忘却や一般化性能の低下を引き起こすことがある。
• 既存のモデルは、サポートセットとクエリセットの間の分布シフトに対して非常に感受性が高く、一部のケースではインディストリビューションのサポート画像ですら性能を低下させる。
• サポートまたはクエリ画像への敵対的摂動は分類精度を著しく低下させるため、耐性向上のための緊急な必要性が示唆される。
• クロスドメイン少数ショット学習は依然として大きな課題であり、一部の研究では、大規模なドメインシフト下で、メタ学習されたモデルよりも単純なファインチューニングが優れている場合がある。