[논문 리뷰] Semantic Autoencoder for Zero-Shot Learning

Elyor Kodirov, Tao Xiang외 1명|arXiv (Cornell University)|2017. 04. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 119

한 줄 요약

시맨틱 오토인코더(SAE)를 도입하여 시각 특징을 시맨틱 공간으로 매핑하는 인코더와 원래 특징을 재구성하는 디코더를 함께 학습함으로써 제로샷 학습의 일반화 성능을 향상시키고 대규모 학습의 효율성을 가능하게 한다.

ABSTRACT

Existing zero-shot learning (ZSL) models typically learn a projection function from a feature space to a semantic embedding space (e.g.~attribute space). However, such a projection function is only concerned with predicting the training seen class semantic representation (e.g.~attribute prediction) or classification. When applied to test data, which in the context of ZSL contains different (unseen) classes without training data, a ZSL model typically suffers from the project domain shift problem. In this work, we present a novel solution to ZSL based on learning a Semantic AutoEncoder (SAE). Taking the encoder-decoder paradigm, an encoder aims to project a visual feature vector into the semantic space as in the existing ZSL models. However, the decoder exerts an additional constraint, that is, the projection/code must be able to reconstruct the original visual feature. We show that with this additional reconstruction constraint, the learned projection function from the seen classes is able to generalise better to the new unseen classes. Importantly, the encoder and decoder are linear and symmetric which enable us to develop an extremely efficient learning algorithm. Extensive experiments on six benchmark datasets demonstrate that the proposed SAE outperforms significantly the existing ZSL models with the additional benefit of lower computational cost. Furthermore, when the SAE is applied to supervised clustering problem, it also beats the state-of-the-art.

연구 동기 및 목표

• 제로샷 학습(ZSL)에서 프로젝션 도메인 시프트를 동기부여하고 해결한다.
• 인코딩과 재구성 제약을 모두 강제하는 시맨틱 가이드 자동인코더를 제안한다.
• 학습 데이터 크기에 의존하지 않는 결과적 Sylvester equation을 위한 효율적인 해법을 개발한다.
• 여섯 가지 벤치마크에서 최첨단 ZSL 성능을 입증하고 감독된 클러스터링에의 적용 가능성을 보인다.

제안 방법

• 인코더 W와 디코더 W^T를 공유 잠재 시맨틱 공간을 갖는 대칭적 선형 투사로 모델링한다.
• WX = S 를 하드 제약으로 부과하고 목표식 min_W ||X - W^T S||_F^2 + λ||WX - S||_F^2 로 소프트 제약으로 완화한다.
• W를 풀기 위하여 AW + WB = C인 Sylvester equation을 도출한다(단 A = SS^T, B = λXX^T, C = (1+λ) SX^T로 설정), 복잡도는 N에 독립적이다.
• SAE가 Sylvester equation을 푸는 MATLAB 구현을 6줄로 제공한다.
• SAE를 제로샷 학습에 적용하여 테스트 시각 정보를 시맨틱 공간으로 투사하고 unseen 클래스 프로토타입에 대해 최근접 이웃을 수행하거나 프로토타입을 시각 공간으로 투사하고 그 공간에서 분류한다.
• 레이블링된 데이터로부터 시맨틱 투사를 학습하고 투사된 테스트 데이터를 클러스터링하는 방식으로 감독된 클러스터링에 적용 가능성을 보인다.

실험 결과

연구 질문

• RQ1 재구성 제약이 제로샷 학습 인코더의 일반화를 unseen 클래스에 대해 향상시킬 수 있는가?
• RQ2 대칭적이고 선형적인 SAE가 기존 ZSL 모델에 비해 계산 비용을 줄이며 경쟁력 있는 성능을 제공하는가?
• RQ3 SAE가 소규모(속성)와 대규모(단어 벡터) 시맨틱 공간에서 어떻게 수행되는가?
• RQ4 SAE 프레임워크를 ZSL을 넘어 감독된 클러스터링으로 효과적으로 확장할 수 있는가?

주요 결과

방법	AwA	CUB	aP&Y	SUN
SAE (W)	84.7	61.4	55.4	91.0
SAE (W^T)	84.0	60.9	54.8	91.5

• SAE는 여섯 개의 ZSL 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 달성하여 다수의 기존 모델을 능가한다.
• 재구성 제약을 사용하는 것은 인코더와 디코더 설정 모두에서 간단한 투사 기반 기준선(릿지 회귀) 대비 성능을 크게 향상시킨다.
• 대규모 ImNet-2에서 SAE(W)는 최첨단 SS-Voc보다 8.8% 포인트 향상시킨다.
• 두 가지 SAE 변형(인코더 W와 디코더 W^T)은 ZSL에 모두 효과적이며 인코더가 일반적으로 약간 더 나은 경우가 많다.
• SAE는 계산 비용을 낮춘다: 트레이닝이 컴퍼리터 대비 최소 10배 빠르다(예: AwA에서).
• SAE는 감독된 클러스터링에도 혜택을 주며 합성 데이터 및 실제 데이터에서 종종 전용 거리 학습 방법보다 우수한 성능을 보인다.