[논문 리뷰] An Empirical Study and Analysis of Generalized Zero-Shot Learning for Object Recognition in the Wild

Wei‐Lun Chao, Soravit Changpinyo외 2명|arXiv (Cornell University)|2016. 05. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 76

한 줄 요약

이 논문은 물체 인식을 위한 더 현실적인 벤치마크로 일반화된 제로샷 학습(GZSL)을 주장하며, 테스트 데이터가 본 적 있는 클래스와 본 적 없는 클래스 모두에서 올 수 있음을 고려한다. 본문에서는 본 적 있는 클래스와 본 적 없는 클래스의 인식을 균형 있게 하기 위한 단순한 校정 방법인 캘리브레이티드 스태킹을 제안하고, 이 상호 작용을 평가하기 위해 AUSUC 지표를 도입한다. 결과적으로 이상적 기준에 비해 성능 격차가 크며, 더 나은 의미적 임bedding이 필요함을 시사한다.

ABSTRACT

Zero-shot learning (ZSL) methods have been studied in the unrealistic setting where test data are assumed to come from unseen classes only. In this paper, we advocate studying the problem of generalized zero-shot learning (GZSL) where the test data's class memberships are unconstrained. We show empirically that naively using the classifiers constructed by ZSL approaches does not perform well in the generalized setting. Motivated by this, we propose a simple but effective calibration method that can be used to balance two conflicting forces: recognizing data from seen classes versus those from unseen ones. We develop a performance metric to characterize such a trade-off and examine the utility of this metric in evaluating various ZSL approaches. Our analysis further shows that there is a large gap between the performance of existing approaches and an upper bound established via idealized semantic embeddings, suggesting that improving class semantic embeddings is vital to GZSL.

연구 동기 및 목표

• 기존 제로샷 학습(ZSL)의 한계를 해결하기 위해, 테스트 데이터가 오직 본 적 없는 클래스에서만 온다는 가정을 버리고, 일반화된 제로샷 학습(GZSL)이라는 더 현실적인 평가 설정을 제안한다.
• GZSL 설정에서 표준 ZSL 분류기가 본 적 없는 클래스 샘플을 자주 본 적 있는 클래스로 잘못 분류하는 실패 원인을 규명한다.
• 본 적 있는 클래스와 본 적 없는 클래스의 인식 간 갈등을 균형 있게 조절하기 위한 단순하면서도 효과적인 校정 방법인 캘리브레이티드 스태킹을 제안한다.
• 본 적 있는 클래스와 본 적 없는 클래스의 인식 성능 간 상호 작용을 정량화하기 위해, 본 적 있는 클래스와 본 적 없는 클래스의 정확도가 다양한 신뢰도 임계값에서 변화하는 곡선 아래 면적을 계산하는 AUSUC 지표를 도입한다.
• 이dealized 시각적 특징 기반 의미적 임bedding(G-attr)을 사용해 GZSL의 성능 상한선을 설정함으로써, 현재 방법들과 최적 성능 사이의 큰 격차가 있음을 드러낸다.

제안 방법

• 본 적 있는 클래스와 본 적 없는 클래스의 분류기 점수를 조정하기 위해 학습 가능한 校정 인자를 도입하는 캘리브레이티드 스태킹을 제안하며, 이는 두 클래스의 결정 경계를 균형 있게 조절한다.
• 본 적 있는 클래스와 본 적 없는 클래스가 모두 동일한 의미 공간에 임bed딩되도록 하며, 이는 word2vec 또는 딥 네트워크 활성화에서 유도된 시각적 특징(G-attr)을 사용한다.
• 본 적 있는 클래스와 본 적 없는 클래스의 정확도가 다양한 신뢰도 임계값에서 변화하는 곡선 아래 면적을 계산하여 AUSUC 지표를 정의함으로써, 두 성능 간 상호 작용 평가가 가능하게 한다.
• 각 클래스의 이미지에서 GoogLeNet의 특징을 평균내어 G-attr 임bedding을 유도하며, 본 적 없는 클래스의 레이블된 학습 데이터만을 사용하여 분류기를 훈련하지 않고도 임bedding을 계산한다.
• 클래스 대표 시각적 특징을 이상적 의미적 임bedding으로 사용하여 GZSL 성능의 상한선을 설정함으로써, 완벽한 의미적 정렬을 시뮬레이션한다.
• ImageNet, AwA, CUB에서 광범위한 아블레이션 연구를 수행하여, word2vec 대비 G-attr 임bedding을 사용했을 때의 성능을 비교하고, 소수의 레이블링 샘플 상황을 평가한다.

실험 결과

연구 질문

• RQ1 왜 표준 ZSL 분류기가 본 적 있는 클래스와 본 적 없는 클래스가 모두 포함된 일반화된 제로샷 학습(GZSL) 환경에서 실패하는가?
• RQ2 GZSL에서 본 적 있는 클래스와 본 적 없는 클래스의 인식이라는 상반된 목표를 효과적으로 균형 있게 조절할 수 있는 방법은 무엇인가?
• RQ3 GZSL에서 본 적 있는 클래스와 본 적 없는 클래스의 인식 성능 간 상호 작용을 가장 잘 캡처하는 성능 지표는 무엇인가?
• RQ4 기존 ZSL 방법들은 GZSL에서 이론적 성능 상한선에 얼마나 가까이 다가설 수 있는가?
• RQ5 시각적 특징(G-attr)은 word2vec에 비해 의미적 임bedding을 얼마나 향상시키며, 본 적 없는 클래스에서 얼마나 많은 레이블 데이터가 성능 격차를 줄이기 위해 필요한가?

주요 결과

• 표준 ZSL 분류기는 GZSL 환경에서 결정 경계의 편향으로 인해 거의 모든 본 적 없는 클래스 샘플을 본 적 있는 클래스로 잘못 분류한다.
• 제안된 캘리브레이티드 스태킹 방법은 본 적 있는 클래스와 본 적 없는 클래스의 인식을 균형 있게 조절함으로써 GZSL 성능을 크게 향상시킨다.
• AUSUC 지표는 본 적 있는 클래스와 본 적 없는 클래스의 정확도 간 상호 작용을 효과적으로 캡처하며, 다양한 ZSL 방법 간 공정한 비교를 가능하게 한다.
• G-attr를 의미적 임bedding으로 사용할 경우, word2vec에 비해 GZSL 성능이 크게 향상되며, 특히 hit@1에서 100장의 이미지에서 유도된 G-attr는 word2vec에 비해 10배 이상의 성능 향상을 기록한다.
• 현재 ZSL 방법들과 이상적 시각적 특징 기반 임bedding(G-attr)을 사용한 상한선 사이에 큰 성능 격차(최대 AUSUC 기준 30%p)가 존재하며, 이는 의미적 임bedding의 품질이 핵심적 한계 요소임을 시사한다.
• 본 적 없는 클래스당 레이블이 100장 뿐이어도 G-attr 임bedding을 사용한 GZSL는 본 적 있는 클래스당 1,000장의 레이블이 있는 전형적인 다중 클래스 분류기의 AUSUC 성능에 근접한 성능을 달성한다.