[논문 리뷰] Adaptive Confidence Smoothing for Generalized Zero-Shot Learning

Yuval Atzmon, Gal Chechik|arXiv (Cornell University)|2018. 12. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 7

한 줄 요약

이 논문은 일반화된 제로샷 학습(GZSL)을 위한 모듈식 확률적 프레임워크인 적응형 신뢰도 스무딩(COSMO)을 제안한다. 이 프레임워크는 본문 클래스 분류기, 제로샷 분류기, 그리고 신뢰도 기반 게이팅 네트워크를 결합하여 예측을 부드럽게 통합한다. COSMO는 네 가지 벤치마크(AWA, SUN, CUB, FLOWER)에서 최신 기술을 초월하며, 더 간단하고 GAN 기반 접근법보다 더 잘 트레이닝되는 동안 새로운 SOTA 성능을 달성한다.

ABSTRACT

Generalized zero-shot learning (GZSL) is the problem of learning a classifier where some classes have samples and others are learned from side information, like semantic attributes or text description, in a zero-shot learning fashion (ZSL). Training a single model that operates in these two regimes simultaneously is challenging. Here we describe a probabilistic approach that breaks the model into three modular components, and then combines them in a consistent way. Specifically, our model consists of three classifiers: A "gating" model that makes soft decisions if a sample is from a "seen" class, and two experts: a ZSL expert, and an expert model for seen classes. We address two main difficulties in this approach: How to provide an accurate estimate of the gating probability without any training samples for unseen classes; and how to use expert predictions when it observes samples outside of its domain. The key insight to our approach is to pass information between the three models to improve each one's accuracy, while maintaining the modular structure. We test our approach, adaptive confidence smoothing (COSMO), on four standard GZSL benchmark datasets and find that it largely outperforms state-of-the-art GZSL models. COSMO is also the first model that closes the gap and surpasses the performance of generative models for GZSL, even-though it is a light-weight model that is much easier to train and tune. Notably, COSMO offers a new view for developing zero-shot models. Thanks to COSMO's modular structure, instead of trying to perform well both on seen and on unseen classes, models can focus on accurate classification of unseen classes, and later consider seen class models.

연구 동기 및 목표

• 본문 클래스에서의 지도 학습과 미사용 클래스에서의 제로샷 학습을 하나의 일관된 모델에서 통합하는 문제를 해결하기 위해.
• 본문 및 미사용 클래스 전문가의 예측을 부드럽고 신뢰도 인식 기반으로 융합함으로써 GZSL의 일반화 및 강인성을 향상시키기 위해.
• 복잡한 생성 모델보다도 성능이 뛰어나면서도, 광범위한 트레이닝이나 하이퍼파rameter 튜닝이 필요로 하지 않는 경량이고 모듈식 프레임워크를 개발하기 위해.

제안 방법

• GZSL를 세 가지 모듈식 구성요소로 분해한다: 본문 클래스 분류기, 제로샷 분류기, 그리고 본문/미사용 도메인 식별을 위한 이진 게이팅 네트워크.
• 본문 및 미사용 전문가의 소프트맥스 신뢰도 점수를 활용하여 본문 도메인에 속할 확률을 추정하는, 신뢰도 기반 게이팅(CB-Gating) 네트워크를 사용한다.
• 게이팅 네트워크의 신뢰도에 기반해 동적으로 조정되는 스무딩 가중치를 갖는 라플라스 유사 사전을 소프트맥스 출력에 도입함으로써 적응형 신뢰도 스무딩을 적용한다.
• 전체 확률의 법칙을 활용하여 전문가 예측을 조합한다: p(class) = p(class|seen)p(seen) + p(class|unseen)p(unseen), 게이팅 모듈의 부드러운 가중치를 적용한다.
• 실제로 미사용 샘플이 없는 상태에서, 보류된 훈련 클래스로부터 시뮬레이션된 미사용 클래스 응답을 사용하여 게이팅 네트워크를 트레이닝함으로써 p(unseen)를 추정한다.
• 외부 분포(OoD) 탐지 성능 향상과 제로샷 전문가의 과신된 오진 억제를 위해, 전문가 예측의 새로운 클래스에 의존하지 않는 표현 방식을 도입한다.

실험 결과

연구 질문

• RQ1 훈련 중 실제 미사용 클래스 샘플이 없더라도, 본문 및 미사용 클래스 분류기의 소프트, 확률적으로 일관된 융합을 어떻게 달성할 수 있는가?
• RQ2 신뢰도 기반 게이팅 메커니즘이 본문과 미사용 분포를 구분하는 데 있어 정확도 및 강인성에 미치는 영향은 무엇인가?
• RQ3 적응형 신뢰도 스무딩은 외부 분포 샘플에서의 제로샷 분류기 캘리브레이션을 향상시키고 과신을 줄일 수 있는가, 특히 게이팅 네트워크와 결합했을 때?
• RQ4 제안된 모듈식 프레임워크는 복잡한 생성 모델을 포함한 최신 기술 모델들을 얼마나 뛰어넘는가?
• RQ5 게이팅, 스무딩, 전문가 모델 등의 개별 구성요소가 상호작용하여 성능에 어떻게 기여하는가?

주요 결과

• COSMO는 AWA, SUN, CUB, FLOWER라는 네 가지 표준 GZSL 벤치마크에서 모두 새로운 SOTA AUSUC 점수를 기록한다.
• AWA 데이터셋에서 COSMO는 63.6%의 H-정확도를 달성하여 이전 SOTA인 Independent-Hard 기반의 58.3%를 초월한다.
• SUN 데이터셋에서 COSMO는 41.0%의 H-정확도를 기록하여 Independent-Hard 기반의 35.1%보다 뚜렷한 향상을 이룬다.
• CUB에서 COSMO는 50.2%의 H-정확도를 달성하여 Independent-Hard 기반의 44.6%를 능가하며 강력한 일반화 능력을 보여준다.
• 적응형 신뢰도 스무딩은 일정한 스무딩 또는 스무딩 없음 대비 CUB에서 최대 1.2%의 상대적 향상, AWA에서는 1.4%의 상대적 향상을 이룬다.
• 제거 실험을 통해 게이팅과 적응형 스무딩이 모두 필수적임을 확인하였으며, 이들의 조합이 가장 높은 성능을 내며 미약하지만 측정 가능한 상호보완적 효과를 보였다.