[논문 리뷰] Improving Few-Shot Visual Classification with Unlabelled Examples

Peyman Bateni, Jarred Barber외 2명|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 정규화된 마할라노비스 거리 기반 소프트 k-평균 클러스터링과 수정된 신경망 특징 추출기를 조합하여 추론 시 미리 레이블이 지정되지 않은 예제를 활용함으로써 소수의 샘플로 이미지 분류 성능을 향상시키는 전이적 메타학습 방법을 제안한다. 이 방법은 메타-데이터셋, 미니-이미지넷, 티어드-이미지넷 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a transductive meta-learning method that uses unlabelled instances to improve few-shot image classification performance. Our approach combines a regularized Mahalanobis-distance-based soft k-means clustering procedure with a modified state of the art neural adaptive feature extractor to achieve improved test-time classification accuracy using unlabelled data. We evaluate our method on transductive few-shot learning tasks, in which the goal is to jointly predict labels for query (test) examples given a set of support (training) examples. We achieve new state of the art performance on the Meta-Dataset and the mini-ImageNet and tiered-ImageNet benchmarks.

연구 동기 및 목표

• 추론 시 레이블이 지정되지 않은 예제를 통합하여 소수의 시각적 분류 정확도를 향상시키는 것.
• 소수의 시각 학습 시나리오에서 레이블이 지정된 데이터가 부족한 문제를 해결하는 것.
• 지원 데이터와 레이블이 지정되지 않은 예제를 함께 사용하여 쿼리 이미지의 예측을 공동 최적화하는 방법을 개발하는 것.
• 미니-이미지넷과 티어드-이미지넷과 같은 표준 소수의 시각 학습 벤치마크에서 최신 기술 수준의 성능를 달성하는 것.
• 추가 학습 없이 일반화 성능을 향상시키는 방식으로 클러스터링과 특징 적응을 통합하는 것.

제안 방법

• 메타학습의 추론 단계에서 레이블이 지정되지 않은 예제를 그룹화하기 위해 정규화된 마할라노비스 거리 기반 소프트 k-평균 클러스터링 절차를 사용한다.
• 최신 기술 수준의 신경망 특징 추출기를 수정하여 클러스터링과 분류 성능 향상을 위한 표현을 적응적으로 학습한다.
• 과적합을 방지하고 소수의 시각 작업에서 일반화 성능을 향상시키기 위해 클러스터링 과정을 정규화한다.
• 전이적 설정에서 작동하며, 쿼리 이미지의 예측을 레이블이 지정되지 않은 데이터와 함께 공동으로 수행한다.
• 개선된 특징과 클러스터 할당을 사용하여 최종 분류를 수행함으로써 예측 정확도를 향상시킨다.
• 추론 단계에서 클러스터링과 특징 적응을 통합된 최적화 과정으로 통합한다.

실험 결과

연구 질문

• RQ1 추론 시 사용되는 레이블이 지정되지 않은 예제가 소수의 시각 분류 성능 향상에 기여할 수 있는가?
• RQ2 어떻게 클러스터링을 정규화하여 낮은 데이터 환경에서 일반화 성능을 향상시킬 수 있는가?
• RQ3 클러스터링과 적응형 특징 학습을 통합할 경우 소수의 시각 벤치마크에서 어떤 영향을 미치는가?
• RQ4 오직 레이블이 지정되지 않은 데이터만을 사용하여 전이적 방법이 인덕티브 소수의 시각 학습 기반 모델을 능가할 수 있는가?
• RQ5 기존 최신 기술 수준의 접근 방식과 비교해 본다면, 제안된 방법은 표준 소수의 시각 데이터셋에서 어떻게 성능을 내는가?

주요 결과

• 메타-데이터셋 벤치마크에서 최신 기술 수준의 성능를 달성하며, 이전의 접근 방식을 능가한다.
• 미니-이미지넷 벤치마크에서 새로운 최신 기술 수준의 결과를 기록하여 뚜렷한 정확도 향상을 보였다.
• 티어드-이미지넷 벤치마크에서도 최신 기술 수준의 성능를 달성하여 다양한 소수의 시각 데이터셋에 대한 일반화 능력을 확인했다.
• 정규화된 클러스터링을 통한 레이블이 지정되지 않은 예제 통합은 추론 단계에서의 분류 정확도 향상에 명백한 기여를 했다.
• 추가 학습이나 모델의 미세조정 없이도 레이블이 지정되지 않은 데이터를 효과적으로 활용했다.
• 소프트 k-평균 클러스터링에 마할라노비스 거리를 사용함으로써 저샷 시나리오에서 클러스터링 품질과 분류 성능 향상이 향상되었다.