[논문 리뷰] Classifier and Exemplar Synthesis for Zero-Shot Learning

Soravit Changpinyo, Wei‐Lun Chao외 2명|arXiv (Cornell University)|2018. 12. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 83인용 수 5

한 줄 요약

이 논문은 의미 임베딩을 사용하여 미사전 클래스에 대한 분류기와 시각적 예시를 합성하는 두 가지 제로샷 학습 프레임워크를 제안한다. 그래프 기반의 다양체 학습을 통해 클래스 간 관계를 모델링하고, 의미 벡터에서 시각적 예시를 회귀함으로써, 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 전통적이고 일반화된 ZSL 설정 모두에서 강력한 일반화 성능을 보인다.

ABSTRACT

Zero-shot learning (ZSL) enables solving a task without the need to see its examples. In this paper, we propose two ZSL frameworks that learn to synthesize parameters for novel unseen classes. First, we propose to cast the problem of ZSL as learning manifold embeddings from graphs composed of object classes, leading to a flexible approach that synthesizes "classifiers" for the unseen classes. Then, we define an auxiliary task of synthesizing "exemplars" for the unseen classes to be used as an automatic denoising mechanism for any existing ZSL approaches or as an effective ZSL model by itself. On five visual recognition benchmark datasets, we demonstrate the superior performances of our proposed frameworks in various scenarios of both conventional and generalized ZSL. Finally, we provide valuable insights through a series of empirical analyses, among which are a comparison of semantic representations on the full ImageNet benchmark as well as a comparison of metrics used in generalized ZSL. Our code and data are publicly available at https://github.com/pujols/Zero-shot-learning-journal

연구 동기 및 목표

• 라벨이 없는 훈련 예제 없이도 새로운 객체 클래스를 인식하는 데 도전한다.
• 기존 ZSL의 한계를 극복하기 위해 새로운 클래스에 대한 대표적인 파rameter—분류기와 시각적 예시를 합성한다.
• 의미 표현을 시각적 특징과 분류기 파rameter로 매핑함으로써 제로샷 일반화를 향상시킨다.
• 기존 ZSL 방법을 향상시키거나 독립형 모델로 기능할 수 있는 통합적이고 유연한 프레임워크를 제공한다.
• 다양한 데이터셋에서 의미 표현의 질과 예시 예측의 영향이 ZSL 성능에 미치는 영향을 조사한다.

제안 방법

• 객체 클래스들이 의미 공간에서 가중치가 부여된 그래프를 이룰 수 있도록 제로샷 학습을 그래프 정렬 문제로 재정의하며, 간선 가중치는 의미 유사도에서 유도한다.
• 시각적 분류기(모델 공간 좌표로 간주)를 의미 그래프에 매핑하는 다각체 임베딩을 학습함으로써, 미사전 클래스에 대한 분류기 합성을 가능하게 한다.
• 시각적 예시를 본래의 클래스 평균 특징의 차원 감소된 평균으로 정의하고, 의미 표현에서 이러한 예시를 예측하기 위한 회귀 모델을 학습한다.
• 의미 벡터에서 시각적 예시 특징으로 매핑하기 위해 서포트 벡터 회귀기(SVR) 또는 다층 퍼셉트론(MLP)을 사용하며, 과적합을 방지하기 위해 L2 정규화를 적용한다.
• 예측된 예시의 품질을 평가하기 위해 t-SNE 시각화를 적용하며, 실제 미사전 클래스 이미지 클러스터와의 유사도를 측정한다.
• 특징 차원을 감소시키기 위해 PCA를 적용하며, 다양한 PCA 차원(10에서 1024까지)에서의 성능 안정성을 입증한다.

실험 결과

연구 질문

• RQ1 의미 그래프의 다각체 학습을 통해 분류기를 합성함으로써 제로샷 일반화 성능을 향상시킬 수 있는가?
• RQ2 의미 임베딩에서 시각적 예시를 합성하는 것이 제로샷 인식 성능 향상에 얼마나 효과적인가?
• RQ3 다른 회귀 모델(SVR 대비 MLP)은 ZSL에서 예시 예측 정확도와 일반화에 어떤 영향을 미치는가?
• RQ4 PCA 차원 선택이 예시 예측 및 추론의 성능와 효율성에 어떤 영향을 미치는가?
• RQ5 의미 표현의 질과 본래의 클래스 수가 합성된 예시와 분류기의 품질에 어느 정도 영향을 미치는가?

주요 결과

• SynC 프레임워크는 AwA, CUB, ImageNet 포함 다섯 가지 벤치마크 데이터셋에서 전통적이고 일반화된 제로샷 학습 모두에서 최신 기술 수준의 성능을 달성한다.
• AwA에서 SVR 기반 예시 예측(SVR, No PCA)을 사용할 경우 77.8%의 정확도를 기록하며, 단지 40개의 본래 클래스만 존재함에도 불구하고 강력한 일반화 성능을 보였다.
• SVR 기반 예시 예측을 사용한 EXEM(1NN)은 MLP 기반 예측보다 우수하며, AwA에서 PCA 적용, d=1024일 경우 76.2%의 정확도를 기록하여 SVR이 작은 훈련 세트에서 더 강건함을 보였다.
• PCA 차원에 대해 매우 강건한 성능을 유지하며, AwA에서는 d=10일 때도 75% 이상, SUN에서는 68% 이상의 정확도를 기록하여 확장성과 효율성을 입증했다.
• t-SNE 시각화 결과, 예측된 예시가 실제 이미지 클러스터와 잘 일치함을 확인하였으며, 특히 AwA와 SUN에서 뚜렷하게 확인되어 합성된 특징의 품질을 검증하였다.
• 세부적인 CUB 데이터셋에서는 클래스 혼합으로 인해 예시 예측이 더 어려웠지만, PCA 적용, d=1024일 경우 여전히 59.4%의 정확도를 기록하며 기준 MLP 모델을 초월하였다.