[논문 리뷰] Multi-modal Cycle-consistent Generalized Zero-Shot Learning

Rafael Felix, B. G. Vijay Kumar외 2명|arXiv (Cornell University)|2018. 08. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 28

한 줄 요약

이 논문은 일반화된 제로샷 학습(GZSL)을 위한 다중 모odal 사이클 일致성 GAN 정규화를 제안하며, 합성 시각적 특징이 원래 의미적 특징을 재구성하도록 강제하여 미학습 클래스로의 일반화 성능을 향상시킨다. 사이클 일치 손실을 도입함으로써 더 의미적으로 충실한 시각적 표현을 생성하며, CUB, FLO, SUN, AWA 및 ImageNet 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In generalized zero shot learning (GZSL), the set of classes are split into seen and unseen classes, where training relies on the semantic features of the seen and unseen classes and the visual representations of only the seen classes, while testing uses the visual representations of the seen and unseen classes. Current methods address GZSL by learning a transformation from the visual to the semantic space, exploring the assumption that the distribution of classes in the semantic and visual spaces is relatively similar. Such methods tend to transform unseen testing visual representations into one of the seen classes' semantic features instead of the semantic features of the correct unseen class, resulting in low accuracy GZSL classification. Recently, generative adversarial networks (GAN) have been explored to synthesize visual representations of the unseen classes from their semantic features - the synthesized representations of the seen and unseen classes are then used to train the GZSL classifier. This approach has been shown to boost GZSL classification accuracy, however, there is no guarantee that synthetic visual representations can generate back their semantic feature in a multi-modal cycle-consistent manner. This constraint can result in synthetic visual representations that do not represent well their semantic features. In this paper, we propose the use of such constraint based on a new regularization for the GAN training that forces the generated visual features to reconstruct their original semantic features. Once our model is trained with this multi-modal cycle-consistent semantic compatibility, we can then synthesize more representative visual representations for the seen and, more importantly, for the unseen classes. Our proposed approach shows the best GZSL classification results in the field in several publicly available datasets.

연구 동기 및 목표

• GAN이 생성한 시각적 특징이 제약 없이 생성되어 미학습 클래스로의 일반화 성능이 떨어지는 문제를 해결하기 위해.
• GZSL에서 본래의 및 미학습 클래스 모두의 합성 시각적 표현의 의미적 충실도를 향상시키기 위해.
• 의미적 특징와 시각적 특징 간의 사이클 일치성 매핑을 강제함으로써 본래의 클래스에 대한 편향을 줄이기 위해.
• 새로운 다중 모달 사이클 일치성 정규화를 통해 GAN 기반 GZSL 성능을 향상시키기 위해.
• CUB, FLO, SUN, AWA 및 ImageNet을 포함한 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 합성된 시각적 특징에서 원래 의미적 특징을 재구성하도록 강제하는 다중 모달 사이클 일치성 손실을 제안한다.
• 사이클 일치성 손실을 GAN 학습 목표에 정규화 항으로 통합하여 생성자 출력을 제약한다.
• 본래의 및 미학습 클래스의 의미적 임bedding에서 시각적 특징을 합성하는 생성자 네트워크를 사용한다.
• 실제와 생성된 시각적 특징을 구분하는 판별자 모델을 활용하여 분포 일치를 보장한다.
• 대부분의 손실 함수를 조합한 최종 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련한다: 적대적 손실, 분류 손실, 사이클 일치성 손실.
• 학습된 생성자를 사용해 미학습 클래스의 시각적 특징을 합성하고, 이를 다중 클래스 분류기 학습에 활용한다.

실험 결과

연구 질문

• RQ1 합성된 시각적 특징와 원천 의미적 특징 간의 사이클 일치성 강제가 GZSL 분류 정확도를 향상시키는가?
• RQ2 제안된 정규화가 본래 클래스에 대한 편향을 줄이는가?
• RQ3 사이클 일치성 GAN 방법이 f-CLSWGAN과 같은 최신 기술 수준의 방법과 비교해 제로샷 및 일반화된 제로샷 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 사이클 일치성 손실이 훈련 중 수렴 속도를 빠르게 하는가?
• RQ5 대규모 데이터셋에서 높은 클래스 불균형과 많은 수의 클래스를 가진 경우 이 방법의 효과는 어떠한가?

주요 결과

• 제안된 사이클 일치성 GAN 방법은 ZSL 및 GZSL 설정 모두에서 CUB, FLO, SUN, AWA 및 ImageNet 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• CUB, FLO 및 AWA에서 이 방법은 f-CLSWGAN 기준선을 뚜렷이 능가하며, 이는 합성 특징의 더 높은 의미적 충실도 덕분으로 기인한다.
• 재구성 손실 ℓREG는 훈련 전반에 걸쳐 안정적으로 감소함을 확인하여, 모델이 생성된 시각적 특징을 원래 의미적 특징으로 성공적으로 매핑함을 입증한다.
• 사이클-WGAN 버전은 네 개의 데이터셋 중 세 개에서 기준선보다 더 빠른 수렴 속도를 보이며, 훈련 동역학 향상이 있음을 시사한다.
• 분류 손실이 포함된 사이클-CLSWGAN 버전은 기준선과 유사한 수렴 속도를 보이며, 안정적인 최적화를 의미한다.
• SUN 데이터셋은 높은 클래스 수와 강한 본래/미학습 클래스 불균형을 가짐에도 불구하고 사이클-WGAN 모델은 여전히 뛰어난 성능을 기록하지만, 사이클-CLSWGAN가 가장 우수한 성능을 보였다.