[논문 리뷰] Rethinking Zero-Shot Learning: A Conditional Visual Classification Perspective

Kai Li, Martin Renqiang Min외 1명|arXiv (Cornell University)|2019. 09. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 9

한 줄 요약

이 논문은 시각적 특징의 분류 능력을 손실하지 않고 의미적 속성에서 직접 시각 분류기를 생성하는 딥 네ural 네트워크를 활용하여, 제로샷 러닝(ZSL)을 조건부 시각 분류 문제로 재구성한다. 시각적 특징의 분류 능력을 유지하고 클래스 간 경쟁을 활용함으로써, 전통적, 일반화된, 비례적(ZSL) 설정 모두에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존 방법들보다 벤치마크 데이터셋에서 뚜렷한 승리를 거두었다.

ABSTRACT

Zero-shot learning (ZSL) aims to recognize instances of unseen classes solely based on the semantic descriptions of the classes. Existing algorithms usually formulate it as a semantic-visual correspondence problem, by learning mappings from one feature space to the other. Despite being reasonable, previous approaches essentially discard the highly precious discriminative power of visual features in an implicit way, and thus produce undesirable results. We instead reformulate ZSL as a conditioned visual classification problem, i.e., classifying visual features based on the classifiers learned from the semantic descriptions. With this reformulation, we develop algorithms targeting various ZSL settings: For the conventional setting, we propose to train a deep neural network that directly generates visual feature classifiers from the semantic attributes with an episode-based training scheme; For the generalized setting, we concatenate the learned highly discriminative classifiers for seen classes and the generated classifiers for unseen classes to classify visual features of all classes; For the transductive setting, we exploit unlabeled data to effectively calibrate the classifier generator using a novel learning-without-forgetting self-training mechanism and guide the process by a robust generalized cross-entropy loss. Extensive experiments show that our proposed algorithms significantly outperform state-of-the-art methods by large margins on most benchmark datasets in all the ZSL settings. Our code is available at \url{https://github.com/kailigo/cvcZSL}

연구 동기 및 목표

• 기존 ZSL 방법들이 공유 임베딩 공간으로의 재투영 과정에서 시각적 특징의 분류 능력을 암묵적으로 손실하는 한계를 해결하기 위해.
• 분류기가 의미적 속성에서 생성되는 조건부 시각 분류 작업으로 ZSL를 재정의하여, 시각적 특징의 분류 능력을 유지하기 위해.
• 클래스 간 경쟁과 강력한 자기학습 기반 메커니즘을 활용하여, 전통적, 일반화된, 비례적 ZSL 설정에서의 성능을 향상시키기 위해.
• 일반화된 ZSL에서 성능 저하를 완화하기 위해, 볼록한 본래 클래스의 분류 능력을 유지하면서도, 볼록하지 않은 클래스의 일반화 능력을 향상시키기 위해.

제안 방법

• 에피소드 기반 메타학습 훈련 체계를 사용하여 의미적 속성에서 직접 시각적 특징 분류기를 생성하는 딥 네ural 네트워크를 제안한다.
• 비디오 및 의미적 특징 간 상관관계에서 도메인 변동성의 영향을 줄이기 위해 코사인 유사도 기반 교차 엔트로피 손실을 사용한다.
• 일반화된 ZSL 설정에서는 본래 클래스와 볼록하지 않은 클래스의 생성된 분류기를 연결하여 동시에 모든 클래스를 분류하며, 본래 클래스의 강력한 분류 능력을 유지한다.
• 비례적 설정에서는 볼록하지 않은 클래스의 레이블이 없는 이미지를 활용하여, 가짜 레이블링과 무결성 유지 학습 전략을 통해 분류기 생성기를 校정한다.
• 자기학습 과정에서 노이즈가 있거나 잘못된 가짜 레이블의 영향을 최소화하기 위해 강력한 일반화된 교차 엔트로피 손실을 적용한다.
• 합성된 '가짜' ZSL 작업을 활용한 메타학습 파рад림을 적용하여 실제 볼록하지 않은 클래스 인식에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 공유 공간으로의 투영 없이, 시각적 특징의 내재된 분류 능력을 유지함으로써 제로샷 러닝을 향상시킬 수 있는가?
• RQ2 시각-의미적 정렬에 의존하지 않고, 본래 클래스 간의 상호 경쟁과 분류 정보를 ZSL에서 어떻게 활용할 수 있는가?
• RQ3 본래 클래스에서 훈련된 분류기 생성기가 볼록하지 않은 클래스로 효과적으로 일반화되면서도, 본래 클래스에서 높은 성능을 유지할 수 있는가?
• RQ4 볼록하지 않은 클래스의 레이블이 없는 데이터를 어떻게 효과적으로 활용하여 분류기 생성기를 정교화할 수 있는가? 오버피팅이나 오류 누적을 방지하기 위해.

주요 결과

• 제안된 방법은 모든 ZSL 설정에서 대부분의 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, 기존 방법들보다 뚜렷한 승리를 거두었다.
• 일반화된 ZSL 설정에서, 느린 퇴화 속도 덕분에 초기 피크가 약간 있더라도 본래 클래스 성능(GZSL-Seen)이 높게 유지된다.
• 본래 클래스와 볼록하지 않은 클래스 정확도의 조화 평균(GZSL-H)은 훈련 과정 내내 안정적으로 증가하며 높은 수준에서 안정화되며, 균형 잡힌 강력한 성능을 나타낸다.
• 시각화 결과는 모델이 의미적 서술만으로도 볼록하지 않은 클래스의 분류 가능한 시각적 특성을 합리적으로 포착하고 있음을 보여주며, 오직 매우 모호한 경우에만 잘못 분류되는 경향을 보였다.
• 볼록하지 않은 클래스 성능(GZSL-Unseen)은 훈련 과정 내내 안정적으로 증가하며 유지되며, 새로운 클래스로의 효과적인 일반화 능력을 보여준다.