[논문 리뷰] Deep Learning for Cross-Domain Few-Shot Visual Recognition: A Survey

Huali Xu, Shuaifeng Zhi외 3명|arXiv (Cornell University)|2023. 03. 15.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 설문조사는 교차 도메인 샷 학습(CDFSL)을 형식화하고, 포괄적 분류 체계와 데이터셋 벤치마크를 제공하며, TSERM 도전과 향후 방향에 대한 논의를 포함한 네 가지 접근 범주를 분석한다.

ABSTRACT

While deep learning excels in computer vision tasks with abundant labeled data, its performance diminishes significantly in scenarios with limited labeled samples. To address this, Few-shot learning (FSL) enables models to perform the target tasks with very few labeled examples by leveraging prior knowledge from related tasks. However, traditional FSL assumes that both the related and target tasks come from the same domain, which is a restrictive assumption in many real-world scenarios where domain differences are common. To overcome this limitation, Cross-domain few-shot learning (CDFSL) has gained attention, as it allows source and target data to come from different domains and label spaces. This paper presents the first comprehensive review of Cross-domain Few-shot Learning (CDFSL), a field that has received less attention compared to traditional FSL due to its unique challenges. We aim to provide both a position paper and a tutorial for researchers, covering key problems, existing methods, and future research directions. The review begins with a formal definition of CDFSL, outlining its core challenges, followed by a systematic analysis of current approaches, organized under a clear taxonomy. Finally, we discuss promising future directions in terms of problem setups, applications, and theoretical advancements.

연구 동기 및 목표

• CDFSL 문제 및 FSL 및 전이 학습과의 관계를 정의하고 형식화한다.
• 도메인 간 격차와 제한된 목표 감독으로 제기되는 고유한 도전 과제를 식별한다.
• CDFSL 접근 방식의 통합 분류 체계를 제공하고 주요 데이터셋과 벤치마크를 요약한다.
• 문제 설정, 응용 및 이론 분야에서 향후 연구 방향을 제시한다.

제안 방법

• CDFSL 정의와 문제 진술을 검토하고 형식화한다.
• 사례 가이드 기반, 파라미터 기반, 특징 후처리, 하이브드 접근 방식의 네 가지 범주 분류 체계를 제안한다.
• CDFSL의 핵심 도전으로서 두 단계 경험적 위험 최소화(TSERM)를 분석한다.
• 검증된 CDFSL 방법, 데이터셋 및 벤치마크를 조사한다.
• CDFSL 연구를 위한 실무적 가이드와 향후 방향을 논의한다.

Figure 1. The difference of few-shot learning and cross-domain few-shot learning.

실험 결과

연구 질문

• RQ1 교차 도메인 샷 학습의 형식적 정의는 무엇이며 FSL, DA, DG와 같은 관련 문제와 어떻게 다른가?
• RQ2 도메인 격차와 제한된 목표 데이터와 관련하여 CDFSL에 고유한 핵심 과제는 무엇인가?
• RQ3 도메인 간에 지식을 효과적으로 전이하는 방법은 무엇이며, 어떤 분류 체계가 기존 접근법을 가장 잘 조직하는가?
• RQ4 CDFSL의 진전을 적절히 평가하는 데이터셋과 벤치마크는 무엇이며, 향후 연구를 위한 개방 방향은 무엇인가?

주요 결과

• CDFSL은 라벨이 있는 소스 도메인에서의 사전 지식을 활용하여 서로 다른 대상 도메인 및 작업에서 한정된 라벨 데이터로 학습하도록 정의된다.
• 공통 특징 표현을 학습하고 대상 도메인에 특화된 가설을 학습함으로써 CDFSL의 기반이 되는 고유한 두 단계 경험적 위험 최소화(TSERM) 프레임워크가 있다.
• CDFSL의 Existing 작업은 인스턴스-가이드, 파라미터 기반, 특징 후처리, 하이브드 접근 방식의 네 가지 범주로 가장 잘 정리된다.
• 본 조사는 관련 데이터셋과 벤치마크(예: Meta-Dataset 및 BSCD-FSL)를 수집하고 설명하며 이들이 방법 평가에 미치는 함의를 분석한다.
• 본 논문은 문제 설정, 응용 및 이론적 기초 전반에 걸친 유망한 향후 방향을 제시한다.

Figure 2. Chronological milestones on CDFSL from 2019 to the present, including representative CDFSL approaches and the related benchmarks. CDFSL was first noticed as a topic in 2020 when two related benchmarks, Meta-Dataset (Triantafillou et al . , 2019 ) and BSCD-FSL (Guo et al . , 2020 ) , were r