[論文レビュー] Deep Learning for Cross-Domain Few-Shot Visual Recognition: A Survey

Huali Xu, Shuaifeng Zhi+3 more|arXiv (Cornell University)|Mar 15, 2023

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

この調査はクロスドメインFew-Shot学習（CDFSL）を公式化し、包括的な分類体系とデータセットベンチマークを提供し、TSERMの課題と将来の方向性について議論する。

ABSTRACT

While deep learning excels in computer vision tasks with abundant labeled data, its performance diminishes significantly in scenarios with limited labeled samples. To address this, Few-shot learning (FSL) enables models to perform the target tasks with very few labeled examples by leveraging prior knowledge from related tasks. However, traditional FSL assumes that both the related and target tasks come from the same domain, which is a restrictive assumption in many real-world scenarios where domain differences are common. To overcome this limitation, Cross-domain few-shot learning (CDFSL) has gained attention, as it allows source and target data to come from different domains and label spaces. This paper presents the first comprehensive review of Cross-domain Few-shot Learning (CDFSL), a field that has received less attention compared to traditional FSL due to its unique challenges. We aim to provide both a position paper and a tutorial for researchers, covering key problems, existing methods, and future research directions. The review begins with a formal definition of CDFSL, outlining its core challenges, followed by a systematic analysis of current approaches, organized under a clear taxonomy. Finally, we discuss promising future directions in terms of problem setups, applications, and theoretical advancements.

研究の動機と目的

• CDFSL問題とそのFSLおよび転移学習との関係を定義・公式化する。
• ドメインギャップとターゲット監視データの制限がもたらす固有の課題を特定する。
• CDFSLアプローチの統一的分類体系を提供し、主要データセットとベンチマークを要約する。
• 問題設定、応用、理論の将来の研究方向を示す。

提案手法

• CDFSLの定義と問題設定をレビューし公式化する。
• インスタンスガイド型、パラメータベース型、特徴量後処理型、ハイブリッド型の4カテゴリー分類を提案する。
• CDFSLの核心課題として二段階経験的リスク最小化（TSERM）を分析する。
• 検証済みCDFSL手法・データセット・ベンチマークを調査する。
• CDFSL研究の実践的指針と将来の方向性を論じる。

Figure 1. The difference of few-shot learning and cross-domain few-shot learning.

実験結果

リサーチクエスチョン

• RQ1 クロスドメインFew-Shot学習の正式な定義は何か、FSL、DA、DGなどの関連問題とどう異なるか。
• RQ2 特にドメインギャップとターゲットデータの制限に関して、CDFSLに固有の核心課題は何か。
• RQ3 知識をドメイン間でどのように効果的に転移できるか、既存アプローチを最もよく整理する分類はどれか。
• RQ4 CDFSLの進捗を適切に評価するデータセットとベンチマークは何か、将来の課題は何か。

主な発見

• CDFSLは、ラベル付きソースドメインからの知識を活用して、別のターゲットドメインとタスクで限られたラベル付きデータを学習することを目的として定義される。
• 共有特徴表現とターゲット特異的仮説を学習することでCDFSLを支える固有の二段階経験的リスク最小化（TSERM）フレームワーク。
• CDFSLの既存研究は、インスタンスガイド型、パラメータベース型、特徴量後処理型、ハイブリッド型の4カテゴリーに最もよく整理される。
• 本調査は関連データセットとベンチマーク（例：Meta-DatasetおよびBSCD-FSL）を整理・解説し、手法評価への影響を分析する。
• 本文は問題設定、応用および理論的基盤の将来の有望な方向性を概説する。

Figure 2. Chronological milestones on CDFSL from 2019 to the present, including representative CDFSL approaches and the related benchmarks. CDFSL was first noticed as a topic in 2020 when two related benchmarks, Meta-Dataset (Triantafillou et al . , 2019 ) and BSCD-FSL (Guo et al . , 2020 ) , were r