[논문 리뷰] Bi-Adversarial Auto-Encoder for Zero-Shot Learning

Yunlong Yu, Zhong Ji외 4명|arXiv (Cornell University)|2018. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 5

한 줄 요약

이 논문은 이중적 적대적 프레임워크를 통해 이중 시각-의미 정렬을 강제하는 제로샷 러닝을 위한 양방향 적대적 오토인코더(Bi-Adversarial Auto-Encoder, BAAE)를 제안한다. 시각적 특징 생성기, 의미 추론 디코더, 분류 헤드를 공동으로 학습시킴으로써 BAAE는 높은 구분 능력과 의미 관련성을 지닌 시각적 특징을 합성하여 기존의 전통적 및 일반화된 ZSL 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Existing generative Zero-Shot Learning (ZSL) methods only consider the unidirectional alignment from the class semantics to the visual features while ignoring the alignment from the visual features to the class semantics, which fails to construct the visual-semantic interactions well. In this paper, we propose to synthesize visual features based on an auto-encoder framework paired with bi-adversarial networks respectively for visual and semantic modalities to reinforce the visual-semantic interactions with a bi-directional alignment, which ensures the synthesized visual features to fit the real visual distribution and to be highly related to the semantics. The encoder aims at synthesizing real-like visual features while the decoder forces both the real and the synthesized visual features to be more related to the class semantics. To further capture the discriminative information of the synthesized visual features, both the real and synthesized visual features are forced to be classified into the correct classes via a classification network. Experimental results on four benchmark datasets show that the proposed approach is particularly competitive on both the traditional ZSL and the generalized ZSL tasks.

연구 동기 및 목표

• 기존의 생성적 ZSL 방법에서의 단방향 시각-의미 정렬의 한계를 해결하여 합성된 시각적 특징이 의미적으로 관련 있고 동시에 구분 가능한지를 보장한다.
• 시각적 특징과 클래스 의미 간의 이중 상호작용을 강화하여 제로샷 일반화 성능을 향상시킨다.
• 적대적 훈련과 분류 감독을 통해 미리 보지 않은 클래스의 특징 품질을 향상시킨다.
• 특히 본인-미본 클래스 정확도 편향을 완화함으로써 기존의 전통적 및 일반화된 ZSL 설정 모두에서 강력한 성능을 달성한다.

제안 방법

• 에ncoder가 시각적 특징 생성기로 작동하는 오토인코더 프레임워크를 사용하여, 실제 시각 분포를 모의하는 방식으로 합성된 시각적 특징을 생성한다.
• 디코더 네트워크를 도입하여 실제 및 합성된 시각적 특징에서부터 클래스 의미를 재구성하는 데 적대적 훈련을 수행함으로써 의미 일관성을 강제한다.
• 실제 및 합성된 시각적 특징에 대해 진정한 클래스 레이블을 동시에 예측하는 분류 네트워크를 통합하여 구분 능력을 향상시킨다.
• 두 개의 별도된 생성적 적대적 네트워크를 적용: 하나는 시각적 특징의 현실성(실제 대 합성)을 위한 것이고, 다른 하나는 의미 재구성(추론된 대 실제 의미)을 위한 것이다.
• 적대적 손실, 재구성 손실, 분류 손실을 조합한 공동 목적함수를 사용하여 전체 모델을 엔드 투 엔드로 최적화한다.
• 다중 목표 훈련을 통해 특징의 현실성, 의미 정렬, 구분 능력의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 이중 시각-의미 정렬은 제로샷 러닝에서 합성된 시각적 특징의 품질을 향상시키는가?
• RQ2 합성된 특징에서 의미 재구성을 강제하면, 미리 보지 않은 클래스에서의 분류 성능에 어떤 영향을 미치는가?
• RQ3 분류 헤드를 추가함으로써 합성된 시각적 특징의 구분 능력이 어느 정도 향상되는가?
• RQ4 각 미리 보지 않은 클래스당 합성 샘플 수가 전체 분류 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 기존의 접근 방식에 비해 일반화된 제로샷 러닝에서 본인-미본 클래스 편향을 줄이는가?

주요 결과

• 제안된 BAAE는 네 가지 벤치마크 데이터셋 전반에서 전통적 ZSL 작업에서 최고 성능을 달성한다.
• 일반화된 ZSL 작업에서 BAAE는 H 지표 기준으로 AwA1, AwA2, aPY 데이터셋에서 모든 경쟁자들을 압도적으로 앞서며 큰 격차를 확보한다.
• SUN 데이터셋에서는 CLSWGAN+SM에 이어 두 번째로 좋은 성능을 기록하여 미세한 분류 데이터에서 강력한 일반화 능력을 보여준다.
• 합성된 특징을 사용할 경우 실제 특징을 사용할 경우보다 조화 평균(H) 성능이 더 견고하여 본인-미본 클래스 간의 균형이 더 잘 유지됨을 시사한다.
• 클래스당 합성 샘플 수를 늘일수록 정확도가 처음에는 향상되지만, 점차 분포 노이즈로 인해 성능이 떨어지며, 특히 SUN과 같은 미세한 분류 데이터셋에서 두드러진다.
• 소프트맥스 분류기는 본인 클래스에서 약간 더 좋은 결과를 내지만, NN 분류기는 더 안정적인 조화 평균 점수를 제공하여, 분포의 정확성보다도 구분 정보가 더 중요함을 시사한다.