[논문 리뷰] Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification

Nikita Dvornik, Cordelia Schmid외 1명|arXiv (Cornell University)|2020. 03. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 12

한 줄 요약

이 논문은 소수의 샘플만 있는 분류 작업을 위해 다양한 특징 추출기로 구성된 다중 도메인 표현에서 유용한 특징을 선택하는 간단하면서도 효과적인 특징 선택 방법인 SUR (Selecting from Universal Representations)을 제안한다. 그래디언트 디센트를 통해 지지 집합에서 학습 가능한 마스킹 파라미터를 최적화함으로써 SUR는 각 소수의 샘플 작업에 가장 관련성이 높은 특징만 선택하며, 파rameterized adaptation 모듈을 필요로 하지 않으면서도 MetaDataset에서 최신 기술 수준의 성능을 달성하고, mini-ImageNet에서는 정확도를 향상시킨다.

ABSTRACT

Popular approaches for few-shot classification consist of first learning a generic data representation based on a large annotated dataset, before adapting the representation to new classes given only a few labeled samples. In this work, we propose a new strategy based on feature selection, which is both simpler and more effective than previous feature adaptation approaches. First, we obtain a multi-domain representation by training a set of semantically different feature extractors. Then, given a few-shot learning task, we use our multi-domain feature bank to automatically select the most relevant representations. We show that a simple non-parametric classifier built on top of such features produces high accuracy and generalizes to domains never seen during training, which leads to state-of-the-art results on MetaDataset and improved accuracy on mini-ImageNet.

연구 동기 및 목표

• 제한된 레이블 데이터를 바탕으로 다양한 시각적 도메인 간의 일반화 능력을 향상시켜 소수의 샘플 분류 과제를 해결하고자 한다.
• 복잡한 태스크별 적응 모듈이 필요한 기존의 적응 기반 방법의 한계를 극복하고자 한다.
• 사전 훈련된 다중 도메인 표현에서 특징 선택을 수행하는 것이 교차 도메인 소수의 샘플 학습에서 파rameterized adaptation보다 우수한 성능을 낼 수 있음을 보여주고자 한다.
• 동일한 선택 메커니즘이 태스크별 적응 모듈 없이도 단일 도메인 소수의 샘플 학습 환경에서도 성능 향상에 기여할 수 있음을 보여주고자 한다.

제안 방법

• 다양한 데이터 분포에서 훈련된 여덟 개의 의미적으로 구분되는 특징 추출기들을 통해 다중 도메인 표현을 구성한다.
• 각 소수의 샘플 작업에 대해, 지지 집합에서 경사 하강법을 사용하여 학습 가능한 마스킹 파라미터 λ를 최적화하여 관련 특징 추출기를 선택한다.
• 선택된 특징에 비모수적 프로토타입 분류기를 적용하여 클래스 레이블을 예측한다.
• 표준 지도 학습을 사용하여 대규모 메타 훈련 세트에서 특징 추출기를 훈련한다.
• 단일 네트워크의 중간 레이어에 동일한 선택 메커니즘을 적용하여 단일 도메인 환경에서 다중 도메인 설정을 시뮬레이션한다.
• MetaDataset(교차 도메인) 및 mini-ImageNet(단일 도메인) 벤치마크에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다중 도메인 표현에서 특징 선택이 소수의 샘플 분류에서 파rameterized adaptation보다 우수한 성능을 낼 수 있는가?
• RQ2 제안된 방법은 훈련 중에 볼 수 없었던 도메인으로 일반화되는가, 특히 교차 도메인 소수의 샘플 학습에서 성능이 우수한가?
• RQ3 동일한 선택 메커니즘이 태스크별 적응 모듈 없이도 단일 도메인 소수의 샘플 학습에서 성능 향상에 기여하는가?
• RQ4 다양한 테스트 도메인에서 선택된 특징 표현은 얼마나 희소하고 해석 가능한가?

주요 결과

• SUR는 5-shot MetaDataset에서 79.25%의 최신 기술 수준 정확도를 달성하며, 복잡한 적응 모듈을 사용하는 이전 방법들을 능가한다.
• 1-shot MetaDataset에서는 60.79%의 정확도를 기록하여, 볼 수 없는 도메인으로의 일반화 능력이 뛰어나다는 것을 입증한다.
• mini-ImageNet의 단일 도메인 설정에서 SUR는 5-shot일 경우 80.04%의 정확도, 1-shot일 경우 63.13%의 정확도를 기록하여, 단일 레이어 및 연결 기반 베이스라인을 모두 초월한다.
• 선택 파라미터 λ는 희소하고 해석 가능하며, SUR가 각 작업에 대해 몇 개의 관련 특징 추출기만 선택한다는 것을 보여주며, 동일한 분포에서 온 데이터셋(예: CIFAR-10과 CIFAR-100)에서는 유사한 패턴을 보인다.
• Robust20-dist 특징 추출기의 경우, 5-shot에서는 약간의 성능 향상이 있었고, 1-shot에서는 약간의 성능 저하가 있었는데, 이는 마지막에서 두 번째 레이어가 이미 매우 최적화되어 있어 비최적의 선택에 의해 손상될 수 있음을 시사한다.
• 제거 실험 결과, 다중 도메인 표현이 성능 향상에 필수적임을 확인하였으며, 마지막 레이어만 사용하거나 모든 레이어를 연결하는 경우, 학습된 특징 선택보다 정확도가 떨어진다.