[논문 리뷰] Few-Shot Learning with Global Class Representations

Tiange Luo, Aoxue Li외 3명|arXiv (Cornell University)|2019. 08. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 27

한 줄 요약

이 논문은 기반 클래스와 신규 클래스를 동시에 학습하는 데에 등록 모듈과 샘플 합성 기법을 활용하여 전반적인 클래스 표현을 학습함으로써 클래스 불균형 문제를 해결하는 few-shot 학습 방법을 제안한다. 제안된 방법은 표준 및 일반화된 few-shot 학습 설정 모두에서 최신 기준 성능을 달성하며, 더 도전적인 일반화된 FSL 환경에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

In this paper, we propose to tackle the challenging few-shot learning (FSL) problem by learning global class representations using both base and novel class training samples. In each training episode, an episodic class mean computed from a support set is registered with the global representation via a registration module. This produces a registered global class representation for computing the classification loss using a query set. Though following a similar episodic training pipeline as existing meta learning based approaches, our method differs significantly in that novel class training samples are involved in the training from the beginning. To compensate for the lack of novel class training samples, an effective sample synthesis strategy is developed to avoid overfitting. Importantly, by joint base-novel class training, our approach can be easily extended to a more practical yet challenging FSL setting, i.e., generalized FSL, where the label space of test data is extended to both base and novel classes. Extensive experiments show that our approach is effective for both of the two FSL settings.

연구 동기 및 목표

• 메타학습 기반 few-shot 학습 방법이 기반 클래스에서만 학습을 수행하고 신규 클래스로의 일반화 성능이 떨어지는 한계를 해결하기 위해.
• 신규 클래스를 추론 단계가 아닌 학습 단계부터 포함시켜 일반화 성능을 향상시키기 위해.
• 기반 클래스와 신규 클래스 간 심각한 클래스 불균형 문제를 샘플 합성 및 에피소드 기반 학습을 통해 해결하기 위해.
• 테스트 데이터에 기반 클래스와 신규 클래스가 모두 포함되는 더 현실적인 일반화된 FSL 설정에서 효과적인 few-shot 학습을 가능하게 하기 위해.
• 최소한의 재학습으로 새로운 미리보지 않은 신규 클래스에 유연하게 적응할 수 있는 프레임워크를 개발하기 위해.

제안 방법

• 모델은 기반 클래스와 신규 클래스 샘플을 동시에 학습함으로써 전역 클래스 표현을 학습하여, 신규 클래스에 대해 최적화된 상태에서 학습을 시작하도록 보장한다.
• 샘플 합성 전략은 동일한 클래스 내 기존 샘플의 부분공간에서 생성된 합성 샘플을 통해 신규 클래스의 내부 클래스 변동성을 증가시킨다.
• 에피소드 기반 학습 파이프라인은 지원 세트에서 에피소드별 클래스 평균을 계산하고, 이를 전역 표현과 등록 모듈을 통해 연결한다.
• 등록 모듈은 각 샘플이 임베딩 공간에서 자신의 클래스 전역 표현을 자신 쪽으로 '끌고 오르고', 다른 전역 표현들은 '밀어내는' 방식으로 동작한다.
• 분류 손실을 쿼리 세트에서 계산하여 역전파를 통해 전역 표현을 업데이트함으로써 엔드 투 엔드 학습이 가능하다.
• 메타학습 프레임워크를 사용하여 각 에피소드에서 기반 클래스와 신규 클래스를 모두 샘플링함으로써 균형 잡힌 표현 학습이 보장된다.

실험 결과

연구 질문

• RQ1 기반 클래스와 신규 클래스를 동시에 학습하는 것이 기반 클래스에서만 학습하는 메타학습 방법보다 few-shot 일반화 성능을 향상시키는가?
• RQ2 낮은 샘플 수를 가진 신규 클래스의 내부 클래스 변동성 문제를 해결하는 데에 샘플 합성이 얼마나 효과적인가?
• RQ3 임베딩 공간에서 공간적 분리와 클래스별 정렬을 강제함으로써 등록 모듈이 전역 표현 학습을 향상시키는가?
• RQ4 제안된 방법이 테스트 데이터에 기반 클래스와 신규 클래스가 모두 포함되는 일반화된 few-shot 학습 설정에서 효과적으로 일반화되는가?
• RQ5 재학습 없이도 새로운 보지 않은 신규 클래스에 얼마나 잘 적응하는가?

주요 결과

• 제안된 방법은 표준 및 일반화된 few-shot 학습 벤치마크에서 모두 최신 기준 성능을 달성하였으며, 더 도전적인 일반화된 FSL 설정에서 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 샘플 합성 또는 등록 모듈를 별도로 사용할 경우 성능 향상이 제한적이지만, 둘을 조합할 경우 성능 향상이 크게 나타났다.
• 20개의 새로운 신규 클래스로 확장된 Mini-ImageNet 데이터셋에서, 기반 클래스에 대해 40.20%의 정확도를 기록했고, 새로운 보지 않은 신규 클래스에 대해서는 12.60%의 정확도를 기록하여 프로토타입 네트워크를 크게 앞서갔다.
• 기반 클래스 전역 표현을 고정한 상태에서도 강력한 성능 유지를 보이며, 새로운 보지 않은 클래스에 적응하는 데에 낮은 비용을 유발함을 입증했다.
• 전체 모델(B+S1+S2+R)은 모든 제거 변형보다 뚜렷이 뛰어난 성능을 보이며, 샘플 합성과 등록 간의 상호보완적 상호작용이 강력한 전역 표현 학습에 기여함을 확인했다.