[논문 리뷰] Domain-Aware Generalized Zero-Shot Learning.

Yuval Atzmon, Gal Chechik|arXiv (Cornell University)|2018. 12. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 2

한 줄 요약

이 논문은 본문에 제시된 볼록 최적화 기반의 모듈러한 프레임워크인 도메인 인식 일반화 제로샷 러닝(DAZL)을 제안한다. 이 프레임워크는 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능을 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능을 달성하였으며, 복잡한 생성 모델들조차도 능가함에도 불구하고 경량이며 학습이 용이하다.

ABSTRACT

Generalized zero-shot learning (GZSL) is the problem of learning a classifier where some classes have samples, and others are learned from side information, like semantic attributes or text description, in a zero-shot learning fashion (ZSL). A major challenge in GZSL is to learn consistently for those two different domains. Here we describe a probabilistic approach that breaks the model into three modular components, and then combines them in a consistent way. Specifically, our model consists of three classifiers: A model that softly decides if a sample is from a class and two experts: a ZSL expert, and an expert model for seen classes. We address two main difficulties in this approach: How to provide an accurate estimate of the gating probability without any training samples for unseen classes; and how to use an expert predictions when it observes samples outside of its domain. The key insight in our approach is to pass information between the three models to improve each others accuracy, while keeping the modular structure. We test our approach, Domain-Aware GZSL (DAZL) on three standard GZSL benchmark datasets (AWA, CUB, SUN), and find that it largely outperforms state-of-the-art GZSL models. DAZL is also the first model that closes the gap and surpasses the performance of generative models for GZSL, even-though it is a light-weight model that is much easier to train and tune.

연구 동기 및 목표

• 본문에 제시된 볼록 최적화 기반의 모듈러한 프레임워크인 도메인 인식 일반화 제로샷 러닝(DAZL)을 제안한다. 이 프레임워크는 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 본문에 제시된 볼록 최적화 기반의 모듈러한 프레임워크인 도메인 인식 일반화 제로샷 러닝(DAZL)을 제안한다. 이 프레임워크는 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 본문에 제시된 볼록 최적화 기반의 모듈러한 프레임워크인 도메인 인식 일반화 제로샷 러닝(DAZL)을 제안한다. 이 프레임워크는 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.

제안 방법

• 모델은 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 모델은 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 모델은 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 모델은 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 모델은 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• 모델은 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.

실험 결과

연구 질문

• RQ1 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• RQ2 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• RQ3 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• RQ4 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.
• RQ5 본문에 포함된 본문 기반 분류기, 제로샷 러닝 전문가, 그리고 도메인 간 정보 공유를 가능하게 하는 게이팅 네트워크를 조합하여 본문 및 미학습 클래스 간 일반화 성능를 향상시킨다. 본문 간 상호 정보 공유를 통해 DAZL는 AWA, CUB, SUN 벤치마크에서 최신 기술을 초월하는 성능를 달성하였으며, 복잡한 생성 모델들조니까지 능가함에도 불구하고 경량이며 학습이 용이하다.

주요 결과

• DAZL는 AWA, CUB, SUN 벤치마크에서 일반화 제로샷 러닝을 위한 최신 기술을 달성한다.
• 모델은 복잡한 생성 아키텍처를 기반으로 한 이전의 모든 분류 기반 및 생성 기반 GZSL 모델을 능가한다.
• DAZL는 생성 모델과의 성능 격차를 좁히고, 세 가지 벤치마크 전부에서 생성 모델을 능가한다.
• 경량이고 모듈러한 설계 덕분에 생성 모델의 대체품으로서의 학습 및 튜닝이 훨씬 용이하다.
• 본문 간 상호 정보 공유를 통해 본문 및 미학습 클래스 모두의 정확도가 향상되며, 특히 데이터가 적은 환경에서 유의미한 성능 향상을 보인다.
• 학습 샘플이 필요 없이도 게이팅 네트워크가 미학습 클래스에 대한 신뢰할 수 있는 도메인 추정을 제공한다.