[논문 리뷰] Unsupervised Embedding Adaptation via Early-Stage Feature Reconstruction for Few-Shot Classification

Dong Hoon Lee, Sae-Young Chung|arXiv (Cornell University)|2021. 06. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 8

한 줄 요약

이 논문은 소수의 샘플로 분류하는 데 어려움을 겪는 모델이 적은 수의 레이블된 예제에서 일반화할 수 있도록, 특징 재구성과 국소 내재 차원성 기반 조기 정지 기법을 활용해 일반화 가능하고 작업에 관련된 특징을 학습하는 새로운 비지도 임bedding 적응 방법인 초기단계 특징 재구성(ESFR)을 제안한다. ESFR는 기준 모델을 일관되게 향상시키며, mini-ImageNet, tiered-ImageNet, CUB에서 최신 기술 수준(SOTA) 성능을 달성한다. 1-shot 설정에서 이전 방법 대비 1.2%~2.0%의 정확도 향상을 기록한다.

ABSTRACT

We propose unsupervised embedding adaptation for the downstream few-shot classification task. Based on findings that deep neural networks learn to generalize before memorizing, we develop Early-Stage Feature Reconstruction (ESFR) -- a novel adaptation scheme with feature reconstruction and dimensionality-driven early stopping that finds generalizable features. Incorporating ESFR consistently improves the performance of baseline methods on all standard settings, including the recently proposed transductive method. ESFR used in conjunction with the transductive method further achieves state-of-the-art performance on mini-ImageNet, tiered-ImageNet, and CUB; especially with 1.2%~2.0% improvements in accuracy over the previous best performing method on 1-shot setting.

연구 동기 및 목표

• 소수의 레이블된 예제에서 일반화하기 어려운 소수의 샘플 분류 과제를 해결하기 위해, 테스트용 레이블이 없는 데이터를 활용해 사전 훈련된 임베딩을 적응시키는 것.
• 비지도 훈련 중에 학습된 초기 단계의 특징이 소수의 샘플 적응에 유용한 일반화 가능한 패턴을 포함하고 있는지 조사하는 것.
• 레이블 정보를 적응 중에 사용하지 않고도 인도크티브 및 트랜스덕티브 소수의 샘플 분류 방법을 향상시킬 수 있는 플러그 앤 플레이 형식의 적응 모듈을 개발하는 것.
• 레이블이 없는 쿼리 데이터 내에서 공통의 낮은 차원의 구조를 발견함으로써 표준 소수의 샘플 벤치마크에서 성능을 향상시키는 것.

제안 방법

• ESFR는 재구성 손실을 사용하여 지원 및 쿼리 특징의 결합에 대해 임베딩 어댑터를 훈련시켜 입력 구조를 유지한다.
• 모델은 국소 내재 차원성(LID) 추정을 활용해 과적합을 방지하기 위해 최적의 훈련 에포크를 조기 정지하기 위한 기준을 설정한다.
• 조기 정지는 재구성된 특징의 LID에 의해 유도되며, 일반화가 시작되고 암기 현상이 끝날 무렵 안정화된다.
• 변동성을 줄이고 강건성을 향상시키기 위해 무작위 가중치 초기화를 사용한 임베딩 앙상블을 사용한다.
• 훈련 중에 드롭아웃 변형을 적용하여 암기 현상을 더욱 억제하고 일반화 성능을 향상시킨다.
• 최종적으로 적응된 임베딩는 추가적인 미세조정 없이 최근접 이웃 분류기와 함께 추론에 사용된다.

실험 결과

연구 질문

• RQ1 비지도 사전 훈련 중에 학습된 초기 단계의 특징이 효과적인 소수의 샘플 분류 적응에 활용될 수 있는가?
• RQ2 국소 내재 차원성 기반 조기 정지와 함께 특징 재구성을 통해 소수의 샘플 학습에서 더 나은 일반화가 달성되는가?
• RQ3 레이블 정보를 적응 중에 사용하지 않는 비지도 적응 모듈이 다양한 소수의 샘플 분류 벤치마크에서 성능 향상에 기여하는가?
• RQ4 ESFR는 PCA, ICA, 임베딩 전파와 같은 기존의 임베딩 적응 방법과 비교해 정확도 및 강건성 측면에서 어떻게 성능을 냈는가?

주요 결과

• ESFR는 1-shot 설정에서 mini-ImageNet, tiered-ImageNet, CUB에서 최신 기술 수준 성능을 달성하며, 이전 SOTA 방법인 LaplacianShot 대비 1.2%~2.0%의 정확도 향상을 기록한다.
• 이 방법은 인도크티브 및 트랜스덕티브 설정을 포함한 모든 표준 소수의 샘플 분류 벤치마크에서 기준 모델을 일관되게 향상시킨다.
• 전이 학습 방법인 BD-CSPN과 조합했을 때, ESFR-Semi는 5-shot 설정에서 추가로 +0.3%~+0.8%의 정확도 향상을 기록한다.
• 제거 실험 결과, 임베딩 앙상블과 드롭아웃 변형 모두 성능 향상에 기여하며, 전체 ESFR 설정이 모든 변형보다 뛰어난 성능을 보였다.
• PCA, ICA, 임베딩 전파와 같은 이전의 임베딩 적응 방법보다 ESFR이 뛰어나며, 1-shot mini-ImageNet에서 ICA 기반 적응 대비 +1.8%~+2.0%의 정확도 향상을 보였다.
• 1-shot 설정에서 λ=0일 때 최적의 성능을 기록함으로써, 적응 과정에서 레이블 정보가 필요하지 않음을 확인하였으며, 이는 ESFR의 비지도 성격을 더욱 강화한다.