[논문 리뷰] Few-shot Class-incremental Learning for Classification and Object Detection: A Survey

Jinghua Zhang, Li Liu외 3명|arXiv (Cornell University)|2023. 08. 13.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 종합 검토는 소수의 레이블이 부여된 예시에서 새로운 클래스를 학습하면서 이전 지식을 유지할 수 있도록 해주는 Few-shot Class-incremental Learning (FSCIL)에 대한 포괄적인 개요를 제공한다. 모델이 기존 지식을 유지하면서도 소수의 레이블이 부여된 예시에서 새로운 클래스를 학습할 수 있도록 하는 FSCIL의 핵심 도전 과제인 치명적인 잊음과 안정성-유연성 갈등을 체계적으로 분석하고, 데이터 기반, 구조 기반, 최적화 기반의 방법들을 FSCIC와 FSCIOD에 대해 검토하며, 연합 학습 및 완전하지 않은 FSCIL과 같은 핵심 연구 방향을 규명한다.

ABSTRACT

Few-shot Class-Incremental Learning (FSCIL) presents a unique challenge in Machine Learning (ML), as it necessitates the Incremental Learning (IL) of new classes from sparsely labeled training samples without forgetting previous knowledge. While this field has seen recent progress, it remains an active exploration area. This paper aims to provide a comprehensive and systematic review of FSCIL. In our in-depth examination, we delve into various facets of FSCIL, encompassing the problem definition, the discussion of the primary challenges of unreliable empirical risk minimization and the stability-plasticity dilemma, general schemes, and relevant problems of IL and Few-shot Learning (FSL). Besides, we offer an overview of benchmark datasets and evaluation metrics. Furthermore, we introduce the Few-shot Class-incremental Classification (FSCIC) methods from data-based, structure-based, and optimization-based approaches and the Few-shot Class-incremental Object Detection (FSCIOD) methods from anchor-free and anchor-based approaches. Beyond these, we present several promising research directions within FSCIL that merit further investigation.

연구 동기 및 목표

• 동적이고 데이터가 부족한 환경에서 기존의 딥 러닝 기법의 한계를 해결하기 위해, 새로운 클래스에 대해 소수의 레이블 예시만으로도 지속적인 학습이 가능하도록 하는 것.
• 치명적인 잊음, 샘플 수 부족으로 인한 과적합, 안정성-유연성 딜레마와 같은 FSCIL의 핵심 과제를 체계적으로 분석하는 것.
• 분류 및 객체 탐지 분야에서 데이터, 구조, 최적화 접근 방식에 따라 분류된 FSCIL 방법에 대한 체계적인 검토를 제공하는 것.
• 기준 데이터셋, 평가 지표, 그리고 기밀 보장 및 완전하지 않은 학습 환경과 같은 열린 문제를 강조하는 것.
• 연합 학습, 기초 모델 통합, 장기 학습을 위한 강력한 지식 전이 기법 등 새로운 연구 방향을 규명하는 것.

제안 방법

• 소수의 예시 기반 클래스 증분 분류(FSCIC)에 대해 FSCIL 방법을 데이터 기반, 구조 기반, 최적화 기반 접근 방식으로 분류한다.
• 소수의 예시 기반 클래스 증분 객체 탐지(FSCIOD)를 위한 앵커 기반 및 앵커 기반 없는 방법을 검토하며, 탐지 헤드 설계와 특징 정렬에 중점을 둔다.
• 제한된 이전 데이터를 가진 상태에서 기존 클래스 성능을 유지하기 위해 지식 전이(Knowledge Distillation, KD) 기법을 분석한다.
• 자기지도 학습 및 기초 모델(Foundation Models, 예: CLIP, SAM, GPT)을 활용하여 저데이터 환경에서의 초기 지식 획득을 향상시키는 것을 제안한다.
• 기본 모델 초기화 단계에서 일반화 성능을 향상시키기 위해 향후 호환성 및 데이터 증강 기법을 도입한다.
• 기본 모델 재생 전략의 기밀 보장 갈등을 논의하고, 지식 전이 및 연합 학습 통합과 같은 기밀 보장 기반 대안을 지지한다.

실험 결과

연구 질문

• RQ1 모델은 기존에 학습한 클래스의 지식을 유지하면서도, 몇 개의 레이블 예시만으로 새로운 클래스를 효과적으로 학습할 수 있는가?
• RQ2 특히 데이터 부족 상황에서 치명적인 잊음과 과적합 문제로 인한 주요 기술적 과제는 무엇인가?
• RQ3 FSCIC 및 FSCIOD에 대해 데이터 기반, 구조 기반, 최적화 기반 방법 간의 성능 및 확장성은 어떻게 비교되는가?
• RQ4 기초 모델과 자기지도 학습이 저샷 설정에서 초기 모델 일반화 성능 향상에 어떤 역할을 하는가?
• RQ5 연합 학습, 완전하지 않은 학습, 기밀 보장 학습과 같은 미래 연구 방향 중 가장 유망한 것은 무엇인가?

주요 결과

• FSCIL은 지난 4년간 급격히 성장했으며, 데이터가 부족하고 동적인 환경에서의 실용적 적용 가능성이 높아 연구 집중도가 증가하고 있다.
• 현재 FSCIL 방법은 대부분의 기초 클래스 데이터가 풍부하게 제공되는 것을 전제로 하므로, 실제 적용 가능성과 일반화 평가에 제약이 있다.
• 지식 전이(Knowledge Distillation)는 여전히 지식 유지에 널리 사용되지만, 효과적인 이전 샘플 선택 및 전이 효율성은 여전히 열린 과제이다.
• CLIP 및 GPT와 같은 기초 모델은 FSCIL 환경에서 초기 지식 획득 및 전이 성능 향상에 강력한 잠재력을 보이고 있다.
• 기밀 보장 및 실제 데이터 분포의 이질성 문제로 인해 연합 FSCIL 및 완전하지 않은 FSCIL가 중요한 연구 방향으로 부상하고 있다.
• 다른 진전에도 불구하고, 특히 데이터 재생 및 악성 공격에 대한 취약성과 관련하여 FSCIL 분야에서 기밀 보장 문제는 여전히 다루어지지 않은 영역이다.