[논문 리뷰] Self-Training Ensemble Networks for Zero-Shot Image Recognition.

Meng Ye, Yuhong Guo|arXiv (Cornell University)|2018. 05. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 8

한 줄 요약

이 논문은 공유된 특징 추출기 내에서 다수의 레이블 임베딩 표현을 활용하여 미지의 클래스로의 지식 전이를 향상시키는 자기학습형 앙상블 네트워크를 제안한다. 높은 신뢰도를 가진 미라벨링된 샘플에 대해 반복적으로 의사 레이블을 할당하고 앙상블를 재학습시킴으로써 도메인 분리 문제를 효과적으로 줄이고 표준 제로샷 학습 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite the advancement of supervised image recognition algorithms, their de- pendence on the availability of labeled data and the rapid expansion of image categories raise the significant challenge of zero-shot learning. Zero-shot learn- ing (ZSL) aims to transfer knowledge from labeled classes into unlabeled classes to reduce human labeling effort. In this paper, we propose a novel self-training ensemble network model to address zero-shot image recognition. The ensemble network is built by learning multiple image classification functions with a shared feature extraction network but different label embedding representations, each of which facilitates information transfer to different subsets of unlabeled classes. A self-training framework is then deployed to iteratively label the most confident images in each unlabeled class with predicted pseudo-labels and update the ensem- ble network with the training data augmented by the pseudo-labels. The proposed model performs training on both labeled and unlabeled data. It can naturally bridge the domain shift problem in visual appearances and be extended to the generalized zero-shot learning scenario. We conduct experiments on multiple standard ZSL datasets and the empirical results demonstrate the efficacy of the proposed model.

연구 동기 및 목표

• 라벨 데이터가 부족하고 새로운 카테고리가 급격히 등장하는 제로샷 이미지 인식 문제를 해결하기 위해.
• 기존 클래스에서 미지 클래스로 지식을 전이시켜 인간의 레이블링 노력을 줄이기 위해.
• 개선된 특징 및 레이블 표현 학습을 통해 기존 및 미지의 시각적 카테고리 간의 도메인 분리 문제를 완화하기 위해.
• 시험 샘플이 어떤 클래스(기존 또는 미지)에 속할 수 있는 일반화된 제로샷 학습 설정으로 모델을 확장하기 위해.

제안 방법

• 모델는 동일한 공유 특징 추출기에서 학습되는 각기 다른 레이블 임베딩 표현을 가진 분류 헤드의 앙상블을 사용한다.
• 각 앙상블 구성원은 고유한 레이블 임베딩 기반으로 이미지를 분류하므로, 서로 다른 부분 집합의 미지 클래스로 다양한 지식 전이가 가능해진다.
• 자기학습 프레임워크는 반복적으로 미라벨링된 클래스의 가장 신뢰도 높은 예측에 대해 의사 레이블을 할당한다.
• 기존의 라벨된 데이터와 새로 생성된 의사 레이블이 부여된 미라벨링된 데이터를 모두 사용하여 앙상블를 재학습함으로써 일반화 성능을 향상시킨다.
• 프레임워크는 기존 및 미지 클래스 간의 시각적 특징과 의미론적 레이블 임베딩을 정렬함으로써 도메인 분리를 자연스럽게 해결한다.
• 시험 샘플이 어떤 클래스에서라도 올 수 있도록 허용함으로써 일반화된 제로샷 학습 설정으로 확장 가능하다.

실험 결과

연구 질문

• RQ1 공유된 특징을 가졌지만 서로 다른 레이블 임베딩을 가진 분류기의 앙상블이 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ2 의사 레이블을 활용한 자기학습 프로세스가 미지의 이미지 카테고리에서 성능 향상에 얼마나 효과적인가?
• RQ3 제안된 모델이 기존 및 미지의 시각적 클래스 간의 도메인 분리를 어느 정도 완화하는가?
• RQ4 제안된 프레임워크는 일반화된 제로샷 학습 시나리오로 성공적으로 확장될 수 있는가?

주요 결과

• 제안된 모델은 여러 표준 제로샷 학습 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 자기학습 메커니즘은 미라벨링된 클래스에서의 고신뢰도 의사 레이블이 부여된 샘플을 활용함으로써 인식 정확도를 크게 향상시킨다.
• 다양한 레이블 임베딩을 가진 앙상블는 더 강력하고 포괄적인 지식 전이를 가능하게 하여 미지 카테고리로의 전이 성능을 향상시킨다.
• 기존 및 미지 클래스 간의 시각적 표현과 의미론적 표현을 정렬함으로써 도메인 분리를 효과적으로 줄인다.
• 프레임워크는 일반화된 제로샷 학습 설정으로 잘 일반화되어 있으며, 이 시나리오에서 기존 방법들을 능가하는 성능을 보인다.