[論文レビュー] A Survey of Deep Visual Cross-Domain Few-Shot Learning

Wenjian Wang, Lijuan Duan+4 more|arXiv (Cornell University)|Mar 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本サーベイは、深層視覚的クロスドメイン少数-shot学習（CDFS）の包括的概要を提供し、問題設定、解決アプローチ（画像および特徴の増幅、分離、ファインチューニングなど）、ベンチマークデータセットを分類する。主な課題と今後の方向性を特定し、限られたラベル付きデータでドメインシフトが生じる現実世界のシナリオにおいてCDFSモデルを進化させるための統一的リファレンスを提供する。

ABSTRACT

Few-Shot transfer learning has become a major focus of research as it allows recognition of new classes with limited labeled data. While it is assumed that train and test data have the same data distribution, this is often not the case in real-world applications. This leads to decreased model transfer effects when the new class distribution differs significantly from the learned classes. Research into Cross-Domain Few-Shot (CDFS) has emerged to address this issue, forming a more challenging and realistic setting. In this survey, we provide a detailed taxonomy of CDFS from the problem setting and corresponding solutions view. We summarise the existing CDFS network architectures and discuss the solution ideas for each direction the taxonomy indicates. Furthermore, we introduce various CDFS downstream applications and outline classification, detection, and segmentation benchmarks and corresponding standards for evaluation. We also discuss the challenges of CDFS research and explore potential directions for future investigation. Through this review, we aim to provide comprehensive guidance on CDFS research, enabling researchers to gain insight into the state-of-the-art while allowing them to build upon existing solutions to develop their own CDFS models.

研究の動機と目的

• ドメインシフトが生じる現実世界の少数-shot学習において、ソースドメインとターゲットドメインのデータアクセス状況に応じた、クロスドメイン少数-shot学習（CDFS）の問題設定を体系的に分類すること。
• 画像、特徴、ネットワークアーキテクチャに基づいて、既存のCDFS解決アプローチ（画像増幅、特徴増幅、分離ベース手法、ファインチューニング）を分析・分類すること。
• 分類、検出、セグメンテーションタスクにおけるCDFS分類のためのベンチマークデータセットと評価基準を要約すること。
• 未解決の課題を特定し、今後の研究方向性（多ソースメタラーニング、ドメイン不変表現、オープンセット学習、段階的少数-shot学習など）を提案すること。

提案手法

• 本サーベイは、問題設定に基づいてCDFSの分類体系を構築し、単一ソースと多ソースモデリングを区別し、さらにターゲットドメインデータへのアクセス可能性（教師あり、教師なし、禁止）に基づいてさらに分類する。
• 解決手法を4つの主要カテゴリに分類する：画像増幅、特徴増幅、分離ベース手法、メタラーニングおよび分布整合性を用いたファインチューニング。
• 分類、検出、セグメンテーションの分野で、標準化されたベンチマークを用いて既存のCDFSモデルを評価・比較し、統一された性能指標を強調する。
• ドメイン不変特徴と意味的モダリティの整合性が、ドメイン間での転送性を向上させる役割を分析する。
• 最近の研究から得られた知見を統合し、メモリ機構とメタラーニングを組み合わせる、ゼロショット一般化に意味情報を活用するなどの今後の研究方向性を提案する。
• 研究者が現在のデータセット、評価プロトコル、研究間の性能比較を体系的にまとめたリファレンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインのデータアクセス状況を考慮した問題設定に基づいて、CDFSモデルをどのように効果的に分類できるか？
• RQ2 CDFSにおける支配的戦略は何か？また、特徴学習、データ増幅、モデル適応の観点から、それらはどのように異なるか？
• RQ3 分類、検出、セグメンテーションタスクにおけるCDFSのための標準化されたベンチマークと評価プロトコルは現在どれほど存在するか？
• RQ4 ドメイン不変および意味的情報をどのように活用することで、異なるドメイン間で少数-shot状況下でも一般化性能を向上させられるか？
• RQ5 オープンセット学習や段階的少数-shot学習といった今後の研究方向性は、CDFSシステムの実用性とスケーラビリティをどのように向上させられるか？

主な発見

• 本サーベイは、2020年から2022年にかけて、CDFSが現実世界のドメインシフト問題に対処する上で重要な分野として認識され、研究関心が高まっていると特定した。
• 画像および特徴増幅技術は、ドメインシフト下でのモデルの頑健性を向上させるために広く用いられている。
• 分離ベース手法は、ドメイン固有の特徴とドメイン不変特徴を効果的に分離し、ドメイン間での転送性を向上させる。
• メタラーニングと分布整合性を用いたファインチューニングは、ソースドメインとターゲットドメインの特徴を整列させつつ、タスク固有の知識を保持する点で優れた性能を示す。
• 本サーベイは、分類、検出、セグメンテーションタスクの全般にわたる一貫性のある評価を可能にする統一されたベンチマークフレームワークを確立した。
• 今後の研究は、多ソースメタラーニング、メモリ拡張モデル、オープンセット学習および段階的少数-shot学習に焦点を当てるべきであり、スケーラビリティと現実世界への適用可能性を向上させる。