[논문 리뷰] CANZSL: Cycle-Consistent Adversarial Networks for Zero-Shot Learning from Natural Language

Zhi Chen, Jingjing Li외 3명|arXiv (Cornell University)|2019. 09. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 15

한 줄 요약

이 논문은 자연어에서의 제로샷 학습을 위한 사이클-일致적인 생성 적대 신경망인 CANZSL을 제안한다. 이는 노이즈가 있는 텍스트에서 시각적 특징을 합성하는 전방 GAN과 합성된 시각적 특징에서 텍스트를 재구성하는 역방향 GAN을 함께 학습하여 사이클-일치성과 분류 손실을 강제함으로써 의미적 정확도를 향상시킨다. 이 방법은 제로샷 인식 및 일반화된 제로샷 학습 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들보다 유의미한 격차로 앞서고 있다.

ABSTRACT

Existing methods using generative adversarial approaches for Zero-Shot Learning (ZSL) aim to generate realistic visual features from class semantics by a single generative network, which is highly under-constrained. As a result, the previous methods cannot guarantee that the generated visual features can truthfully reflect the corresponding semantics. To address this issue, we propose a novel method named Cycle-consistent Adversarial Networks for Zero-Shot Learning (CANZSL). It encourages a visual feature generator to synthesize realistic visual features from semantics, and then inversely translate back synthesized the visual feature to corresponding semantic space by a semantic feature generator. Furthermore, in this paper a more challenging and practical ZSL problem is considered where the original semantics are from natural language with irrelevant words instead of clean semantics that are widely used in previous work. Specifically, a multi-modal consistent bidirectional generative adversarial network is trained to handle unseen instances by leveraging noise in the natural language. A forward one-to-many mapping from one text description to multiple visual features is coupled with an inverse many-to-one mapping from the visual space to the semantic space. Thus, a multi-modal cycle-consistency loss between the synthesized semantic representations and the ground truth can be learned and leveraged to enforce the generated semantic features to approximate to the real distribution in semantic space. Extensive experiments are conducted to demonstrate that our method consistently outperforms state-of-the-art approaches on natural language-based zero-shot learning tasks.

연구 동기 및 목표

• 정제된 의미적 프로토타입에서 시각적 특징을 생성하는 기존 GAN 기반 제로샷 학습 방법의 의미적 정확도 부족 문제를 해결하기 위해.
• 청결한 수동으로 캐릭터화된 속성 대신 노이즈가 있는 실제 자연어 기술서에서 강건한 제로샷 학습을 가능하게 하기 위해.
• 보이는-보이지 않는 정확도 편향 문제를 시각적 및 텍스트 특징 공간 간의 사이클-일치성 강제로 완화하기 위해.
• 분류 지도 학습과 함께 적대적 훈련을 통해 합성된 시각적 특징의 일반화 능력과 분류 능력을 향상시키기 위해.

제안 방법

• 노이즈가 있는 자연어 기술서에서 시각적 특징을 생성하기 위해 소음 제거 완전 연결층과 기울기 클리핑을 사용한 와서스타인 GAN을 활용한 전방 GAN.
• 생성된 시각적 특징이 분류 가능하고 클래스 정확도가 높도록 판별기에서 분류 헤드를 학습한다.
• 역방향 GAN이 합성된 시각적 특징을 다시 텍스트 표현으로 재구성하여 전방 GAN과 함께 사이클을 형성한다.
• 재구성된 텍스트와 원본 입력 텍스트 사이에 사이클-일치성 손실을 적용하여 생성 과정 중 의미 유지 보장을 한다.
• 재구성 과정에서 노이즈를 억제하고 의미 정보를 유지하기 위해 역방향 판별기에도 분류 손실을 적용한다.
• 전체 모델은 적대적 손실, 사이클-일치성 손실, 분류 손실을 함께 사용하여 엔드 투 엔드로 훈련되며, 현실성, 정확도, 분류 가능성에 대해 공동 최적화된다.

실험 결과

연구 질문

• RQ1 사이클-일치성 GAN은 자연어에서의 제로샷 학습에서 합성된 시각적 특징의 의미적 정확도를 향상시킬 수 있는가?
• RQ2 재구성 목적의 역방향 GAN을 통합함으로써 생성된 시각적 특징의 품질과 분류 가능성은 어떻게 향상되는가?
• RQ3 실제로 노이즈가 있는 텍스트 입력에서 기존 최신 기술 수준(SOTA) 방법보다 성능을 뛰어넘을 수 있는가?
• RQ4 사이클-일치성 손실은 시각적 특징 합성 과정에서 의미를 유지하기 위해 생성기의 정규화에 효과적으로 기여하는가?

주요 결과

• CUB 데이터셋에서 CANZSL는 일반화된 제로샷 학습의 SCS 분할에서 40.2%의 정확도, SCE 분할에서 12.5%의 정확도를 기록하여, 2위인 GAZSL보다 각각 4.8점과 3.8점 높게 성과를 냈다.
• NAB 데이터셋에서 CANZSL는 SCS 분할에서 25.6%, SCE 분할에서 6.8%의 정확도를 기록하여, GAZSL의 20.4%와 5.8%를 크게 뛰어넘었다.
• 속성 기반 제로샷 학습에서 CANZSL는 CUB에서 56.5%의 정확도를 기록하여 이전 최신 기술 수준인 GAZSL(55.8%)과 ESZSL(53.9%)를 모두 초월했다.
• t-SNE 시각화 결과는 합성된 시각적 특징이 클래스 수준의 구조와 분포를 유지하고 있음을 확인했으며, 외관상 유사한 새 종류 간에도 명확한 클러스터가 형성되어 있었다.
• 절단 실험 결과, 적대적 손실, 사이클-일치성 손실, 분류 손실이 함께 성능 향상에 기여하며, 특히 사이클-일치성 손실이 의미 정확도 유지를 위해 핵심적인 역할을 한다.