[논문 리뷰] Unified Generator-Classifier for Efficient Zero-Shot Learning

Ayyappa Kumar Pambala, Titir Dutta외 1명|arXiv (Cornell University)|2019. 05. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 4

한 줄 요약

이 논문은 제로샷 러닝을 위한 통합적 생성 프레임워크인 GenClass를 제안한다. 이 프레임워크는 생성자와 분류기를 동시에 훈련시켜, 새로운 클래스에 대해 별도의 분류기 재훈련이 필요 없도록 한다. 생성자와 분류기를 통합함으로써 더 구분력 있는 특징을 생성하며, 더 적은 수의 생성 샘플로도 객체 및 동작 인식 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Generative models have achieved state-of-the-art performance for the zero-shot learning problem, but they require re-training the classifier every time a new object category is encountered. The traditional semantic embedding approaches, though very elegant, usually do not perform at par with their generative counterparts. In this work, we propose an unified framework termed GenClass, which integrates the generator with the classifier for efficient zero-shot learning, thus combining the representative power of the generative approaches and the elegance of the embedding approaches. End-to-end training of the unified framework not only eliminates the requirement of additional classifier for new object categories as in the generative approaches, but also facilitates the generation of more discriminative and useful features. Extensive evaluation on three standard zero-shot object classification datasets, namely AWA, CUB and SUN shows the effectiveness of the proposed approach. The approach without any modification, also gives state-of-the-art performance for zero-shot action classification, thus showing its generalizability to other domains.

연구 동기 및 목표

• 기존의 생성 기반 ZSL 방법이 매번 새로운 클래스에 대해 별도의 분류기를 재훈련해야 하는 비효율성을 해결하기 위해.
• 생성 모델의 높은 성능과 의미적 임bedding 접근법의 우아함을 결합하기 위해.
• 생성자와 분류기를 종단 간(end-to-end) 훈련을 통해 특징의 구분력을 향상시키기 위해.
• 생성과 분류 목표를 정렬함으로써 최소한의 생성 샘플로도 효율적인 추론을 가능하게 하기 위해.
• 이러한 통합 프레임워크가 객체 인식 외 다양한 도메인, 예를 들어 동작 인식 등으로 일반화 가능한지 입증하기 위해.

제안 방법

• 프레임워크는 생성자와 분류기를 하나의 종단 간 훈련 가능한 모듈로 통합하며, 생성자는 볼 수 없는 클래스 속성에서 가짜 이미지를 생성한다.
• 분류기는 실재 이미지와 가짜 이미지가 같은 클래스에 속하는지 판단하도록 훈련되며, 실재 및 생성된 특징을 모두 사용한다.
• 가짜 샘플의 현실성과 구분 능력을 향상시키기 위해 적대적 훈련 설정에서 디스커리미네이터를 사용한다.
• 생성자는 본 적 있는 클래스 속성과 본 적 없는 클래스 속성에 조건을 주어, 클래스별로 특화되고 의미적으로 유의미한 특징을 생성한다.
• 통합된 훈련 과정을 통해 생성된 특징가 분류 성능 향상에 직접 최적화된다.
• 이 프레임워크는 WGAN 및 CVAE와 같은 다양한 생성 모델과 호환되어 모듈식 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 생성자와 분류기를 종단 간 공동 훈련하는 것이 순차적 훈련에 비해 제로샷 분류 성능을 향상시키는가?
• RQ2 분류기를 생성 과정에 통합함으로써 양호한 성능을 내기 위해 필요한 생성 샘플 수를 줄일 수 있는가?
• RQ3 통합 프레임워크는 객체 인식을 넘어서 동작 인식과 같은 다른 도메인으로 일반화 가능한가?
• RQ4 제안된 통합 방법과 분리된 훈련 방법 간에 생성된 특징의 구분 능력은 어떻게 비교되는가?
• RQ5 일반화된 제로샷 러닝 환경에서 이 통합 프레임워크가 본 적 있는 클래스에 대한 편향을 얼마나 줄이는가?

주요 결과

• GenClass는 표준 ZSL 객체 인식 데이터셋 세 개에서 최고 성능를 기록했다: AWA (71.4%), CUB (59.6%), SUN (62.2%) (ZSL 설정 기준).
• 일반화된 ZSL 설정에서 GenClass는 AWA에서 49.8%의 조화 평균 정확도를 달성했으며, 이는 이전 방법들을 능가한다.
• 클래스당 단지 20개의 생성 샘플만으로도 GenClass는 CUB에서 60.5%의 정확도를 달성했으며, 성능 포화에 매우 빠르게 도달한다—기존의 생성 기반 방법이 요구하는 수백 개의 샘플보다 훨씬 적다.
• GenClass가 생성한 특징에 대해 소프트맥스 분류기를 사용했을 때 CUB(ZSL)에서 59.6%의 정확도를 기록했으며, 원래의 f-CLSWGAN 프레임워크의 57.3%보다 높아, 더 높은 특징의 구분 능력을 입증한다.
• WGAN 생성자를 CVAE로 교체해도 통합된 분류기 모듈이 모든 데이터셋에서 성능 향상을 이끌어내어, 프레임워크의 일반화 능력을 확인한다.
• 동작 인식 데이터셋에서 GenClass는 UCF101에서 27.5%의 상위-1 정확도, HMDB51에서는 21.3%를 기록했으며, ZSL 설정에서 최고 성능를 기록한 기존 방법들을 능가한다.