[논문 리뷰] Learning Classifiers for Target Domain with Limited or No Labels

Pengkai Zhu, Hanxiao Wang외 1명|arXiv (Cornell University)|2019. 01. 25.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 이미지를 저차원 확률 벡터로 표현하는 새로운 시각적 속성 인코딩 방법을 제안하며, 이는 사전 훈련된 모델을 제한된 레이블 또는 레이블이 없는 새로운 도메인에 효과적으로 적응시키는 데 기여한다. 인코더를 고정하고 FSL(Few-Shot Learning) 또는 ZSL(Zero-Shot Learning)에서 제한된 레이블 예제나 새로운 의미적 속성만을 사용하여 분류기만 미세조정함으로써, 제로샷, 팔십샷, 도메인 적응 벤치마크 전반에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In computer vision applications, such as domain adaptation (DA), few shot learning (FSL) and zero-shot learning (ZSL), we encounter new objects and environments, for which insufficient examples exist to allow for training models from scratch, and methods that adapt existing models, trained on the presented training environment, to the new scenario are required. We propose a novel visual attribute encoding method that encodes each image as a low-dimensional probability vector composed of prototypical part-type probabilities. The prototypes are learnt to be representative of all training data. At test-time we utilize this encoding as an input to a classifier. At test-time we freeze the encoder and only learn/adapt the classifier component to limited annotated labels in FSL; new semantic attributes in ZSL. We conduct extensive experiments on benchmark datasets. Our method outperforms state-of-art methods trained for the specific contexts (ZSL, FSL, DA).

연구 동기 및 목표

• 부족한 레이블 데이터로 인해 새로운 시각적 도메인에서 모델을 훈련하는 데 도전하는 문제를 해결하기 위해.
• 새로운 도메인에 사전 훈련된 모델을 다시 처음부터 훈련하지 않고도 효과적으로 적응시킬 수 있도록 하기 위해.
• 제로샷 학습(ZSL), 팔십샷 학습(FSL), 도메인 적응(DA) 시나리오에서 성능을 향상시키기 위해.
• 저데이터 환경에서 강력한 분류기 적응을 위한 통합 프레임워크를 개발하기 위해.

제안 방법

• 이미지는 훈련 데이터에서 학습된 프로토타입 파트타입 특징 기반으로 저차원 확률 벡터로 인코딩된다.
• 프로토타입은 모든 훈련 데이터를 대표하도록 학습되어 일반화를 위한 공통 특징 공간을 형성한다.
• 테스트 시점에 인코더는 고정되고, FSL에서는 제한된 레이블이 있는 예제, ZSL에서는 새로운 의미적 속성만을 사용하여 분류기 헤드만 미세조정된다.
• 확률적 인코딩 체계를 사용하여 파트타입 조합을 모델링함으로써, 알려지지 않은 클래스나 도메인으로의 일반화 능력을 향상시킨다.
• 인코딩된 특징에 대해 엔드 투 엔드 미세조정을 통해 분류기를 적응시켜 인코더의 일반화 능력을 유지한다.
• 이 방법은 ZSL, FSL, DA 설정에서 여러 벤치마크 데이터셋을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 통합된 시각적 속성 인코딩 방법이 제로샷, 팔십샷, 도메인 적응 시나리오에서 성능 향상에 기여할 수 있는가?
• RQ2 제한된 레이블 데이터만 존재할 경우, 고정된 인코더와 미세조정된 분류기를 사용하는 것이 얼마나 효과적인가?
• RQ3 프로토타입 파트타입 특징가 저데이터 환경에서의 후속 분류 작업에 대해 강력하고 일반화 가능한 표현으로 기능할 수 있는가?
• RQ4 제안된 인코딩 방법이 ZSL 및 FSL 벤치마크에서 기존 방법보다 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 제로샷 학습, 팔십샷 학습, 도메인 적응에 대한 기준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 이 모델은 세 가지 설정 모두에서 기존 방법을 능가하며, 다양한 저데이터 시나리오에서 강력한 일반화 능력을 보여준다.
• 고정된 인코더와 미세조정된 분류기를 사용하는 것이 저샷 및 제로샷 환경에서 특히 뚜렷한 성능 향상을 이끈다.
• 프로토타입 파트타입 인코딩은 분류 가능한, 분리된 시각적 속성을 포착함으로써, 알려지지 않은 클래스나 도메인으로의 효과적인 전이를 가능하게 한다.
• 다양한 데이터셋에서의 강건성은 이 방법이 특정 작업 설정을 초월해 넓은 적용 가능성을 지닌다는 것을 시사한다.
• 제거 분석 결과, 저데이터 환경에서 제안된 인코딩 체계가 다른 특징 표현 방식보다 더 효과적임을 확인할 수 있었다.