[논문 리뷰] Transductive Unbiased Embedding for Zero-Shot Learning

Jie Song, Chengchao Shen외 3명|arXiv (Cornell University)|2018. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 29

한 줄 요약

이 논문은 Quasi-Fully Supervised Learning (QFSL)를 제안하며, 학습 중에 레이블이 붙은 소스 이미지와 레이블이 없는 타겟 이미지를 동시에 활용하여 본래의 소스 클래스에 대한 강한 편향을 줄이는 전이 학습 기반의 제로샷 학습 방법이다. 소스 이미지를 고정된 의미적 앵커 포인트로 매핑하고, 타겟 이미지가 임베딩 공간에서 소스 클래스 앵커 포인트와 다른, 타겟 전용 포인트로 투영되도록 유도함으로써 QFSL는 상태의 기준을 초월하는 성능을 달성하며, AwA2, CUB, SUN 데이터셋에서 일반화된 제로샷 학습 설정에서 기존 방법들보다 9.3–24.5% 높은 성능을 기록한다.

ABSTRACT

Most existing Zero-Shot Learning (ZSL) methods have the strong bias problem, in which instances of unseen (target) classes tend to be categorized as one of the seen (source) classes. So they yield poor performance after being deployed in the generalized ZSL settings. In this paper, we propose a straightforward yet effective method named Quasi-Fully Supervised Learning (QFSL) to alleviate the bias problem. Our method follows the way of transductive learning, which assumes that both the labeled source images and unlabeled target images are available for training. In the semantic embedding space, the labeled source images are mapped to several fixed points specified by the source categories, and the unlabeled target images are forced to be mapped to other points specified by the target categories. Experiments conducted on AwA2, CUB and SUN datasets demonstrate that our method outperforms existing state-of-the-art approaches by a huge margin of 9.3~24.5% following generalized ZSL settings, and by a large margin of 0.2~16.2% following conventional ZSL settings.

연구 동기 및 목표

• 새로운(타겟) 클래스 이미지가 자주 본 적 있는(소스) 클래스로 잘못 분류되는 제로샷 학습에서의 강한 편향 문제를 해결하기 위해.
• 시험 데이터에 소스 및 타겟 클래스가 모두 포함된 일반화된 제로샷 학습 설정에서의 성능 향상을 위해.
• 학습 중에 레이블이 붙은 소스 데이터와 레이블이 없는 타겟 데이터를 모두 활용하여 편향이 없는 시각-의미 임베딩을 학습하기 위해.
• 미래의 타겟 클래스 레이블이 가용해지더라도 효과적인 엔드 투 엔드 학습을 유지하기 위해.

제안 방법

• 이 방법은 학습 중에 레이블이 붙은 소스 이미지와 레이블이 없는 타겟 이미지를 모두 확보할 수 있는 전이 학습 설정을 사용한다.
• 소스 이미지는 그 소스 카테고리에 해당하는 고정된 앵커 포인트로 의미 임베딩 공간에 매핑된다.
• 레이블이 없는 타겟 이미지는 소스 클래스 앵커 포인트가 점유하지 않은, 서로 다른 타겟 전용 포인트로 투영되도록 유도되며, 이는 소스 클래스에 대한 편향을 줄인다.
• 딥 네ural 네트워크(예: GoogLeNet 또는 ResNet)를 사용하여 시각-의미 임베딩 공간을 공동으로 학습하는 엔드 투 엔드 학습 방식을 사용한다.
• 타겟 레이블이 없더라도 소스 및 타겟 데이터 모두에 대해 분류기를 훈련하는 방식으로, 완전히 감독 학습과 유사하므로 이 방법은 '유사 완전 감독 학습'(Quasi-Fully Supervised Learning, QFSL)으로 명명된다.
• 이 방법은 소스 클래스 성능을 유지하면서도 특히 클래스 불균형 상황에서 타겟 클래스 성능을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 제로샷 학습에서 소스 클래스에 대한 강한 편향을 학습 중에 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ2 학습 중에 레이블이 없는 타겟 이미지를 포함시키면 일반화된 제로샷 학습 설정에서 일반화 성능 향상에 기여하는가?
• RQ3 소스 및 타겟 카테고리 간의 클래스 불균형이 증가함에 따라 제안된 방법의 성능는 어떻게 변화하는가?
• RQ4 전이 학습 방법이 전통적 및 일반화된 제로샷 학습 벤치마크에서 모두 최고 성능을 달성할 수 있는가?

주요 결과

• QFSL는 AwA2, CUB, SUN 데이터셋에서 일반화된 제로샷 학습 설정에서 기존 최고 성능 기준(SOTA)보다 9.3–24.5% 높은 성능을 기록한다.
• CUB 및 AwA2 데이터셋에서는 QFSL R(잔차 연결을 사용한 버전)가 QFSL G보다 더 높은 성능을 보였지만, SUN에서는 QFSL G가 더 우수한 성능를 보였으며, 이는 SUN에서 데이터 부족 현상 때문일 가능성이 높다.
• 소스 클래스 수가 증가함에 따라(예: SUN에서 100에서 645로 증가), QFSL와 베이스라인 QFSL− 간의 성능 격차가 커지며, 이는 QFSL가 클래스 불균형 상황에서도 효과적임을 확인한다.
• 이 방법은 소스 클래스 정확도(MCA_s)를 높게 유지하면서도 타겟 클래스 정확도(MCA_t)를 크게 향상시켜 편향 완화의 효과를 잘 보여준다.
• 일반화된 설정에서는 QFSL가 전통적 ZSL 기반 모델보다 0.2–16.2% 높은 성능 향상을 기록한다.
• 제거 분석 결과, 레이블이 없는 타겟 데이터의 사용이 편향 감소와 미지 클래스로의 일반화 향상에 필수적임을 확인하였다.