[논문 리뷰] Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks

Long Chen, Hanwang Zhang외 3명|arXiv (Cornell University)|2017. 12. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 20

한 줄 요약

이 논문은 시각-세미틱 임베딩을 분리하여 분류 성능과 이미지 복원 성능 간의 갈등을 해소하고, 비지도 학습에서의 의미 손실 문제를 완화하기 위해 새로운 제로샷 시각 인식 프레임워크인 의미 보존 적대적 임베딩 네트워크(Semantics-Preserving Adversarial Embedding Network, SP-AEN)를 제안한다. SP-AEN은 시각적 특징을 의미적 공간으로 매핑하는 과정에서 분류용과 복원용 하위공간을 별도로 운영함으로써, 미사용 클래스에 대한 중요 의미 정보를 유지한다. 독립된 임베딩 간의 적대적 훈련을 통해, 미사용 클래스에 대한 의미 정보를 효과적으로 보존하며, CUB, AWA, SUN, aPY에서 각각 12.2%, 9.3%, 4.0%, 3.6%의 절대적 성능 향상을 기록하여 최신 기술 수준을 초월한다.

ABSTRACT

We propose a novel framework called Semantics-Preserving Adversarial Embedding Network (SP-AEN) for zero-shot visual recognition (ZSL), where test images and their classes are both unseen during training. SP-AEN aims to tackle the inherent problem --- semantic loss --- in the prevailing family of embedding-based ZSL, where some semantics would be discarded during training if they are non-discriminative for training classes, but could become critical for recognizing test classes. Specifically, SP-AEN prevents the semantic loss by introducing an independent visual-to-semantic space embedder which disentangles the semantic space into two subspaces for the two arguably conflicting objectives: classification and reconstruction. Through adversarial learning of the two subspaces, SP-AEN can transfer the semantics from the reconstructive subspace to the discriminative one, accomplishing the improved zero-shot recognition of unseen classes. Comparing with prior works, SP-AEN can not only improve classification but also generate photo-realistic images, demonstrating the effectiveness of semantic preservation. On four popular benchmarks: CUB, AWA, SUN and aPY, SP-AEN considerably outperforms other state-of-the-art methods by an absolute performance difference of 12.2\%, 9.3\%, 4.0\%, and 3.6\% in terms of harmonic mean values

연구 동기 및 목표

• 학습 과정에서 손실되는 의미적으로 관련이 있지만 분류에 비특징적인 특징(attribute)이 제로샷 학습에서 의미 손실 문제를 야기하는 것을 해결하기 위해.
• 시각-세미틱 임베딩 네트워크에서 분류와 이미지 복원이라는 상충되는 목표를 분리하기 위해.
• 분류 성능을 저하시키지 않은 채 복원 하위공간에서의 의미 정보를 분류 하위공간으로 효과적으로 전달하기 위해.
• 미사용 클래스에 대해 사진 수준의 현실감 있는 이미지를 생성하면서도 높은 제로샷 인식 정확도를 유지하기 위해.
• 기존의 제로샷 학습에서의 성능 균형을 고려해, 학습된 클래스와 미사용 클래스의 인식 성능을 균형 있게 향상시키기 위해.

제안 방법

• 분류용 인코더 E: V → S 와 별개의 하위공간에서 작동하는 독립적인 시각-세미틱 매핑 F: V → S 를 도입한다.
• 복원 하위공간에서부터 이미지를 복원하는 생성기 G: S → V 를 훈련시켜 세부적인 의미 정보를 유지하며 사진 수준의 현실감 있는 생성을 구현한다.
• F(x)와 E(x)의 분포를 정렬하기 위해 적대적 판별기 D 를 사용하여, 복원 하위공간에서의 의미 정보를 분류 하위공간으로 전달한다.
• 분류 손실, 복원 손실, 적대적 손실을 종합한 공동 손실을 최적화하여 다양한 목표 간의 균형을 확보한다.
• AUSUC를 주요 평가 지표로 사용하여, 학습된 클래스와 미사용 클래스의 인식 성능 균형을 맞추기 위해 校정된 스태킹 규칙과 편향 보정을 적용한다.
• t-SNE 시각화와 특징 변동 분석을 통해, 훈련 과정에서 제거된 저분산 특징(attribute)이 여전히 미사용 클래스 인식에 핵심적인 역할을 함을 입증한다.

실험 결과

연구 질문

• RQ1 기존의 ZSL 기법에서 특징 분산 억제로 인해 손실되는 의미 정보를, 분리된 임베딩 아키텍처가 유지할 수 있는가?
• RQ2 독립된 분류용 및 복원용 임베딩 간의 적대적 정렬이 분류 정확도를 저하시키지 않고 효과적인 의미 전달을 가능하게 하는가?
• RQ3 제안된 프레임워크는 미사용 클래스에 대해 사진 수준의 현실감 있는 이미지를 생성하면서도 제로샷 인식 성능을 향상시킬 수 있는가?
• RQ4 다양한 벤치마크에서 SP-AEN은 최신 기술 수준의 방법들과 비교해 조화 평균 정확도와 AUSUC 측면에서 어떻게 성능을 내는가?
• RQ5 학습된 클래스와 미사용 클래스 간의 의미 손실이 발생할 경우, 복원 품질이 얼마나 떨어지는가?

주요 결과

• SP-AEN은 CUB 벤치마크에서 이전 방법 대비 조화 평균 정확도 12.2%의 절대적 향상을 기록하였다.
• AWA 데이터셋에서 SP-AEN은 최신 기술 수준의 기준 모델 대비 조화 평균 정확도 9.3% 향상되었다.
• SUN 데이터셋에서는 조화 평균 성능에서 4.0%의 절대적 향상, aPY 데이터셋에서는 3.6%의 향상을 기록하였다.
• 절단 실험 결과, 적대적 훈련이 모든 데이터셋에서 조화 평균 정확도를 10% 이상 향상시켜 효과적인 의미 전달을 입증하였다.
• AUSUC 곡선은 전체 목표 함수를 사용한 SP-AEN이 분류 손실만으로 훈련된 모델보다 일관되게 뛰어난 성능을 보이며, 학습된 클래스와 미사용 클래스의 인식 성능 균형이 더 우수함을 시사한다.
• SAE 및 DirectMap 와 달리, SP-AEN은 특징 분산이 높은 데이터셋(예: AWA, aPY)에서도 복원 품질이 높게 유지되며, 의미 손실 발생 시 품질 저하가 심각하게 발생하지 않는다.