[논문 리뷰] Generative Dual Adversarial Network for Generalized Zero-shot Learning

He Huang, Changhu Wang외 2명|arXiv (Cornell University)|2018. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 시각적-의미 공간 간 이중성과 순환 일致성 및 이중 적대적 손실을 통해 시각적-의미 매핑, 의미-시각 생성, 척도 학습을 통합적으로 학습하는 통합 프레임워크인 생성적 이중 적대 신경망(GDAN)을 제안한다. GDAN은 네 가지 벤치마크 데이터셋에서 미사용 클래스에 대해 고품질의 시각적 특징을 생성하면서도 기존 클래스에서 높은 정확도를 유지함으로써 최신 기준 성능을 달성한다.

ABSTRACT

This paper studies the problem of generalized zero-shot learning which requires the model to train on image-label pairs from some seen classes and test on the task of classifying new images from both seen and unseen classes. Most previous models try to learn a fixed one-directional mapping between visual and semantic space, while some recently proposed generative methods try to generate image features for unseen classes so that the zero-shot learning problem becomes a traditional fully-supervised classification problem. In this paper, we propose a novel model that provides a unified framework for three different approaches: visual-> semantic mapping, semantic->visual mapping, and metric learning. Specifically, our proposed model consists of a feature generator that can generate various visual features given class embeddings as input, a regressor that maps each visual feature back to its corresponding class embedding, and a discriminator that learns to evaluate the closeness of an image feature and a class embedding. All three components are trained under the combination of cyclic consistency loss and dual adversarial loss. Experimental results show that our model not only preserves higher accuracy in classifying images from seen classes, but also performs better than existing state-of-the-art models in in classifying images from unseen classes.

연구 동기 및 목표

• 기존의 시각적 공간과 의미 공간 간 고정된 단방향 매핑에 의존하는 제로샷 학습 모델의 한계를 해결하기 위해.
• 시각-의미 매핑, 의미-시각 생성, 척도 학습이라는 세 가지 상호보완적인 접근 방식을 하나의 엔드 투 엔드 프레임워크로 통합하기 위해.
• 일반화된 제로샷 학습 환경에서 미사용 클래스로의 일반화 능력을 향상시키면서도 기존 클래스에서의 높은 정확도를 유지하기 위해.
• 재구성기와 판별기 간 상호 학습을 가능하게 하는 새로운 이중 적대적 손실을 개발하여 특징 정렬 및 유사도 평가를 향상시키기 위해.

제안 방법

• 모델은 클래스 임베딩에서 시각적 특징을 합성하는 생성기, 시각적 특징을 다시 의미 임베딩으로 매핑하는 재구성기, 시각적 및 의미적 특징 간 매칭을 평가하는 판별기로 구성된다.
• 생성기와 재구성기는 순환 일치 손실을 통해 훈련되며, 이는 생성된 특징이 원래 의미 임베딩으로 재구성될 수 있음을 보장한다.
• 생성기와 판별기는 이중 적대적 손실을 통해 훈련되며, 이는 판별기가 진짜와 가짜(생성된) 특징 쌍을 구분하도록 하고, 생성기는 현실적으로 매칭되는 쌍을 생성하도록 학습한다.
• 전체 프레임워크는 순환 일치 손실과 이중 적대적 손실의 조합을 통해 공동 최적화되어 특징 품질과 정렬을 향상시킨다.
• 모델는 공유 잠재 공간에 의존하지 않아 허브니스 문제를 피하고, 더 유연한 적대적 기반 유사도 척도를 학습함으로써 준지도 학습을 지원한다.
• t-SNE 시각화를 통해 합성된 이미지 특징과 실제 이미지 특징의 분포를 정성적으로 평가하였으며, 생성된 특징이 실제 특징과 밀도 있게 일치함을 확인하였다.

Figure 1: Four categories of zero-shot learning methods. (a) Embedding models that map visual features of the same class to the same feature in semantic space. (b) Models that map each class’s semantic feature to features in the visual space. (c) Metric learning models that directly learn to evaluat

실험 결과

연구 질문

• RQ1 통합적인 딥 러닝 프레임워크가 일반화된 제로샷 학습을 위해 시각-의미 매핑, 의미-시각 생성, 척도 학습을 효과적으로 통합할 수 있는가?
• RQ2 제안된 이중 적대적 손실 메커니즘이 단일 방향성 또는 비적대적 접근 방식에 비해 특징 정렬 및 분류 성능을 향상시키는가?
• RQ3 생성기, 재구성기, 판별기의 공동 훈련이 기존 클래스와 미사용 클래스 양쪽에서 성능에 어떤 영향을 미치는가?
• RQ4 모델이 생성한 합성 시각적 특징이 분포와 분류 능력 측면에서 실제 특징과 얼마나 유사한가?

주요 결과

• GDAN은 네 가지 벤치마크 데이터셋(CUB, SUN, AwA2, aPY)에서 최신 기준 성능을 달성하였으며, 특히 미사용 클래스에 대한 제로샷 분류 정확도에서 기존 방법을 능가한다.
• 모델는 기존 클래스에서 높은 정확도를 유지하여 일반화된 제로샷 학습 환경에서 기존 클래스와 미사용 클래스 간 성능 균형을 효과적으로 확보한다.
• 구성 요소 분석 결과, 생성기, 재구성기, 판별기 모두 공동 훈련에서 유의미한 이점을 얻었으며, 통합 프레임워크의 효과성을 입증한다.
• 합성 샘플 수를 늘일수록 미사용 클래스에서의 성능 향상이 나타나며, 약 400개 샘플에서趋세를 보이며, 특히 CUB와 SUN과 같이 더 많은 미사용 클래스를 포함한 데이터셋에서 유의미한 성능 향상을 보였다.
• t-SNE 시각화 결과, 합성 이미지 특징이 잘 분포되어 있으며, 블루 호랑이, 양, 기린 등의 클래스에서 실제 이미지 특징과 밀접하게 일치함을 확인하였다.
• 실패 사례로, 쥐와 동상 클래스는 높은 의미 유사성 또는 시각적 복잡성으로 인해 모델의 생성 능력에 도전하는 것으로 나타났다.

Figure 2: Overall framework of the proposed GDAN model, where black arrows indicate data flow.