[논문 리뷰] Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning

Vinay Kumar Verma, Kevin Liang외 2명|arXiv (Cornell University)|2021. 02. 23.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 메타학습과 자기게이팅 특성, 스케일드 클래스 정규화를 활용한 빠르고 확장 가능한 접근법인 메타-연속적 제로샷 학습(MCZSL)을 제안한다. 이는 일반화된 제로샷 학습(GZSL) 및 연속적 GZSL에서 최고 성능을 달성하며, 생성 모델 기반 방법보다 훈련 속도가 100배 이상 빠르면서도 순차적 학습 환경에서 치명적인 잊음 현상을 완화한다.

ABSTRACT

Zero-shot learning (ZSL) has been shown to be a promising approach to generalizing a model to categories unseen during training by leveraging class attributes, but challenges still remain. Recently, methods using generative models to combat bias towards classes seen during training have pushed the state of the art of ZSL, but these generative models can be slow or computationally expensive to train. Additionally, while many previous ZSL methods assume a one-time adaptation to unseen classes, in reality, the world is always changing, necessitating a constant adjustment for deployed models. Models unprepared to handle a sequential stream of data are likely to experience catastrophic forgetting. We propose a meta-continual zero-shot learning (MCZSL) approach to address both these issues. In particular, by pairing self-gating of attributes and scaled class normalization with meta-learning based training, we are able to outperform state-of-the-art results while being able to train our models substantially faster ($>100\ imes$) than expensive generative-based approaches. We demonstrate this by performing experiments on five standard ZSL datasets (CUB, aPY, AWA1, AWA2 and SUN) in both generalized zero-shot learning and generalized continual zero-shot learning settings.

연구 동기 및 목표

• 비용이 많이 드는 생성 모델에 의존하는 기존 제로샷 학습(ZSL) 방법의 한계를 해결하기 위해.
• 기존 클래스가 아닌 새로운 클래스에 순차적으로 적응하면서 치명적인 잊음 현상 없이 지속적인 제로샷 학습을 가능하게 하기 위해.
• 비용이 많이 드는 생성 훈련을 자기게이팅 및 정규화 메커니즘으로 대체하여 정확성과 효율성을 향상시키기 위해.
• 소수의 샘플로도 동적인 환경에서 빠르게 적응할 수 있는 메타학습 프레임워크를 개발하기 위해.
• 다섯 가지 표준 벤치마크에서 일반화된 ZSL 및 연속적 GZSL 모두에서 최고 성능을 입증하기 위해.

제안 방법

• 노이즈가 많거나 관련성이 없는 특성 차원을 억제하고 강건한, 클래스별로 특화된 표현을 학습하기 위해 클래스 특성 임베딩에 자기게이팅을 도입한다.
• 기존 클래스에 대한 편향을 완화하고 제로샷 일반화 성능을 향상시키기 위해 스케일드 클래스 정규화(SCN)를 적용한다.
• 연속적 학습 중 소수의 샘플로도 신속하게 적응할 수 있도록 일阶 메타학습(MAML 등)을 활용한다.
• 이전 작업 샘플의 부분 집합을 저장하기 위해 고정 크기의 리저보아르를 사용하여 전체 재생 없이 연속적 학습을 가능하게 한다.
• 메타학습과 특성 자기게이팅, SCN을 종합적으로 통합하여 엔드 투 엔드로 훈련 가능한 모델을 구성한다.
• 각 작업이 새로운 클래스 분포를 시뮬레이션하는 소수의 샘플 기반, 작업 기반 메타학습 목표로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 생성 모델에 의존하지 않고도 특성에 자기게이팅을 적용함으로써 제로샷 학습의 강건성과 일반화 성능을 향상시킬 수 있는가?
• RQ2 스케일드 클래스 정규화가 일반화된 제로샷 학습에서 기존 클래스에 대한 편향을 효과적으로 줄일 수 있는가?
• RQ3 메타학습을 통해 소수의 샘플로도 연속적 학습 환경에서 새로운, 알려지지 않은 클래스에 신속하게 적응할 수 있는가?
• RQ4 제안된 MCZSL 모델은 다양한 데이터셋에서 강력한 베이스라인 대비 연속적 GZSL에서 어떻게 성능을 내는가?
• RQ5 각 구성 요소(자기게이팅, SCN, 메타학습)가 연속적 및 일반화된 ZSL에서 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• MCZSL는 CUB, aPY, AWA1, AWA2, SUN 등 다섯 가지 표준 GZSL 벤치마크에서 최고 성능을 달성하며, 이전의 생성 모델 기반 방법을 능가한다.
• 생성 기반 베이스라인 대비 훈련 속도가 100배 이상 빠르면서도 정확도를 유지하거나 초월한다.
• 고정된 연속적 GZSL 설정에서 MCZSL는 AWA1에서 53.12, CUB에서 51.31의 조화 평균을 기록했으며, 메타학습을 제거했을 경우 3.23% 감소함을 아블레이션에서 확인했다.
• 동적 연속적 GZSL 설정에서 MCZSL는 CUB, AWA1, AWA2, SUN 각각 10.92%, 7.01%, 4.80%, 2.30%의 절대 성능 향상을 기록했다.
• 아블레이션 연구 결과, 자기게이팅은 CUB에서 조화 평균을 1.02% 향상시키며 AWA1에서는 2.04% 향상되었고, 클래스 정규화를 제거하면 AWA1에서 성능이 5.91% 감소함을 확인했다.
• 리저보아르 크기가 작업당 클래스 수의 14배일 때 최적의 성능를 기록했으며, 고정 및 동적 연속적 학습 프로토콜 모두에서 일관된 성능 향상을 보였다.