[논문 리뷰] SR-GAN: Semantic Rectifying Generative Adversarial Network for Zero-shot Learning

Zihan Ye, Fan Lyu외 4명|arXiv (Cornell University)|2019. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 8

한 줄 요약

이 논문은 ZSL에서 모호한 의미 특징을 더 분류 가능한 공간으로 개선하기 위해 의미 보정 네트워크(SRN)를 사용하는 의미 보정 생성 적대적 네트워크(SR-GAN)를 제안한다. 보정된 의미 특징에서 현실적인 시각적 특징을 생성하고 사전 및 사후 재구성 네트워크를 통해 일관성을 강제함으로써, SR-GAN은 네 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, 특히 본 unseen 클래스에 대한 정확도 편향을 줄임으로써 이전 방법보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

The existing Zero-Shot learning (ZSL) methods may suffer from the vague class attributes that are highly overlapped for different classes. Unlike these methods that ignore the discrimination among classes, in this paper, we propose to classify unseen image by rectifying the semantic space guided by the visual space. First, we pre-train a Semantic Rectifying Network (SRN) to rectify semantic space with a semantic loss and a rectifying loss. Then, a Semantic Rectifying Generative Adversarial Network (SR-GAN) is built to generate plausible visual feature of unseen class from both semantic feature and rectified semantic feature. To guarantee the effectiveness of rectified semantic features and synthetic visual features, a pre-reconstruction and a post reconstruction networks are proposed, which keep the consistency between visual feature and semantic feature. Experimental results demonstrate that our approach significantly outperforms the state-of-the-arts on four benchmark datasets.

연구 동기 및 목표

• 본 unseen 클래스의 정확한 분류를 방해하는 ZSL에서의 겹치고 모호한 의미적 특징 문제를 해결하기 위해.
• 시각 데이터에 의해 이끌리는 보정된 의미 공간을 학습하여 의미 특징의 분류 가능성을 향상시키기 위해.
• GAN 기반 프레임워크와 재구성 제약 조건을 통해 unseen 클래스에 대해 더 현실적이고 일관된 시각적 특징을 생성하기 위해.
• 일반화된 ZSL(GZSL)에서 본- unseen 정확도 편향을 줄이기 위해 의미-시각 일관성을 유지하기 위해.

제안 방법

• 본seen 시각적 특징에 의해 이끌려 원래의 모호한 의미 특징을 더 분류 가능한 공간으로 변환하는 의미 보정 네트워크(SRN)를 학습하며, 의미 손실과 보정 손실을 사용한다.
• 의미 보정 생성 적대적 네트워크(SR-GAN)는 원본 및 보정된 의미 특징에서 합성된 시각적 특징을 생성하며, GAN 판별자를 사용해 현실성을 확보한다.
• 사전 재구성 네트워크는 생성된 출력에서 시각적 특징을 재구성함으로써 생성기의 정밀한 분포 학습을 보장한다.
• 사후 재구성 네트워크는 합성된 시각적 특징을 다시 의미 공간으로 변환하여 의미 일관성을 유지하고 특징의 정밀도를 향상시킨다.
• 이중 재구성 경로를 통해 시각적 공간과 의미 공간 간의 사이클 일관성을 강제함으로써 특징 정렬 및 일반화를 향상시킨다.
• 의미 보정, GAN 생성, 재구성 손실의 공동 최적화를 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습된 의미 보정 과정이 ZSL에서 의미 특징의 분류 가능성을 향상시킬 수 있는가?
• RQ2 생성 전에 의미 특징을 보정하는 것이 unseen 클래스에 대한 합성된 시각적 특징의 현실성과 유용성에 어떤 영향을 미치는가?
• RQ3 사전 및 사후 재구성 일관성을 강제하는 것이 ZSL에서의 일반화에 얼마나 기여하는가?
• RQ4 기존 방법과 비교해 제안된 방법이 일반화된 ZSL(GZSL)에서 본- unseen 정확도 편향을 줄일 수 있는가?
• RQ5 이 프레임워크는 다양한 ZSL 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• SR-GAN은 AWA1, CUB, APY, SUN 네 가지 벤치마크 데이터셋에서 새로운 최신 기술 성능을 달성하였으며, 특히 일반화된 ZSL(GZSL)에서 뛰어난 성능을 보였다.
• GZSL에서 SR-GAN은 모든 데이터셋에서 최고의 조화 평균(H)을 기록하였으며, AWA1에서 이전 방법 대비 unseen 클래스 정확도(U)가 14.71% 향상되었다.
• 모델은 본- unseen 정확도 편향을 크게 줄였으며, U를 최대 14.71% 향상시키면서도 높은 본 클래스 정확도(S)를 유지함으로써 더 나은 일반화를 보였다.
• 제거 실험 결과 SRN과 재구성 네트워크 모두 필수적임을 확인: AWA1에서 SRN을 제거하면 U가 1.01% 감소하고, 재구성 네트워크를 제거하면 성능이 더 악화됨.
• MDS를 통한 시각화 결과 SRN이 의미 공간에서 겹치는 클래스들(예: 늑대, 고양이, 개)을 효과적으로 분리하여 더 명확히 구분함을 확인함.
• 사후 재구성 네트워크는 합성된 시각적 특징이 의미적으로 일치하도록 보장하여 의미 표현의 무결성을 유지한다.