[논문 리뷰] Texture Bias Of CNNs Limits Few-Shot Classification Performance

Sam Ringer, Will Williams외 3명|arXiv (Cornell University)|2019. 10. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 5

한 줄 요약

이 논문은 컨volution 신경망(CNN)의 텍스처 편향이 훈련 클래스와 테스트 클래스 간 분포 이탈이 발생할 경우 소수 샘플 분류 성능을 심각하게 제한한다는 것을 보여준다. 실제 이미지와 스타일화된 이미지의 조합으로 사전 훈련하여 텍스처 편향을 줄이고, 테스트 시 데이터 증강을 적용함으로써, 단순한 비모수적 방법을 사용하여 5-shot 5-way mini-ImageNet 벤치마크에서 80.4%의 최신 기준(SoTA) 정확도를 달성한다.

ABSTRACT

Accurate image classification given small amounts of labelled data (few-shot classification) remains an open problem in computer vision. In this work we examine how the known texture bias of Convolutional Neural Networks (CNNs) affects few-shot classification performance. Although texture bias can help in standard image classification, in this work we show it significantly harms few-shot classification performance. After correcting this bias we demonstrate state-of-the-art performance on the competitive miniImageNet task using a method far simpler than the current best performing few-shot learning approaches.

연구 동기 및 목표

• CNN의 알려진 텍스처 편향이 분포 이탈이 발생하는 조건에서 소수 샘플 분류 성능에 미치는 영향을 조사하는 것.
• 테스트 클래스가 훈련 클래스와 다를 때 텍스처 편향을 줄임으로써 일반화 성능 향상이 가능한지 확인하는 것.
• 복잡한 최신 기준 소수 샘플 학습 모델들을 능가하는 단순한 비모수적 접근법을 개발하여 텍스처 편향을 완화하는 것.

제안 방법

• mini-ImageNet의 실제 이미지와 스타일화된 이미지의 혼합 데이터셋으로 프로토타입 네트워크를 사전 훈련하여 텍스처 편향을 감소시키는 것.
• 테스트 시 데이터 증강 전략을 사용하여 각 지원 및 쿼리 이미지에 대해 32개의 랜덤 증강을 적용하여 고샷 설정을 시뮬레이션하는 것.
• 원본 및 증강된 지원 이미지의 임베딩 평균을 사용하여 클래스 프로토타입을 계산하고, 여러 증강된 시각에 대한 가중 평균을 적용하는 것.
• 증강된 프로토타입까지의 유클리드 거리 기반으로 쿼리 이미지를 분류하며, 거리는 여러 증강된 쿼리 임베딩에 대한 평균을 취하여 계산하는 것.
• 표준 프로토타입 네트워크 손실을 사용하여 모델을 훈련하지만, 스타일화된 이미지를 포함한 데이터 분포를 사용하여 형태 기반 특징 학습을 장려하는 것.
• 스타일화된 사전 훈련과 다양한 수준의 테스트 시 증강의 성능에 미치는 영향을 평가하기 위해 추론 분석(Ablation study)을 수행하는 것.

실험 결과

연구 질문

• RQ1 훈련 클래스와 테스트 클래스 간 분포 이탈이 발생할 경우 CNN의 텍스처 편향이 소수 샘플 분류 성능을 떨어뜨리는가?
• RQ2 스타일화된 데이터로 사전 훈련하여 텍스처 편향을 줄이면 소수 샘플 일반화 성능이 향상되는가?
• RQ3 테스트 시 데이터 증강이 소수 샘플 학습에서 텍스처 편향의 부정적 영향을 어느 정도 완화하는가?
• RQ4 텍스처 편향을 보정한 후 단순한 비모수적 방법이 복잡한 모수적 소수 샘플 학습 모델들과 경쟁 가능한가?
• RQ5 소수 샘플 성능을 고려할 때 사전 훈련 시 실제 이미지와 스타일화된 이미지의 최적 비율은 무엇인가?

주요 결과

• 실제 이미지와 스타일화된 이미지의 조합으로 사전 훈련하면, 표준 ImageNet 정확도는 약간 감소하지만 mini-ImageNet에서 소수 샘플 분류 정확도가 향상되며, 이는 텍스처 편향이 분포 이탈 조건에서 일반화를 해칠 수 있음을 시사한다.
• 제안된 방법은 5-shot 5-way mini-ImageNet 벤치마크에서 80.4%의 테스트 정확도를 달성하여, 이전 최신 기준인 CASTLE의 79.52%를 초월한다.
• 지원 및 쿼리 세트 양쪽에 대해 테스트 시 증강(TTA)을 적용하면 성능 향상이 뚜렷하며, 최고 성능(80.4%)은 지원 및 쿼리 TTA 모두 적용했을 때 달성된다.
• 추론 분석 결과, 스타일화된 데이터로만 사전 훈련하면 정확도가 감소(72.9%)하지만, 실제 데이터와 조합하면 성능이 78.8%로 향상되어 균형 잡힌 데이터 구성의 중요성을 입증한다.
• 최적의 사전 훈련 조합은 약 30%의 스타일화된 데이터 비율이며, 이를 초과하면 형태 기반 특징에 과도하게 의존하여 성능이 저하된다.
• 스타일화된 이미지 비율에 따른 성능 곡선(그림 2)은 텍스처 편향을 줄이면 소수 샘플 일반화 성능이 향상되며, 완전한 TTA와 균형 잡힌 사전 훈련 조건에서 80.4%로 최고 성능에 도달함을 확인한다.