[논문 리뷰] Generalized Continual Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran외 2명|arXiv (Cornell University)|2020. 11. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 10

한 줄 요약

이 논문은 지속적인 제로샷 학습(CZSL) 프레임워크를 제안하며, 이는 모델이 시간이 지남에 따라 새로운 클래스를 점진적으로 학습하면서 이전 작업에서의 지식을 유지할 수 있도록 한다. 조건부 VAE(CVAE)와 CADA-VAE를 경험 재생 및 지식 정착과 결합함으로써, 소형 에피소딕 메모리에서 클래스당 1~3개의 샘플만으로도 강력한 성능을 달성하며, 클래스 증가 및 비증가 설정 모두에서 다섯 가지 ZSL 벤치마크에서 베이스라인을 능가한다.

ABSTRACT

Recently, zero-shot learning (ZSL) emerged as an exciting topic and attracted a lot of attention. ZSL aims to classify unseen classes by transferring the knowledge from seen classes to unseen classes based on the class description. Despite showing promising performance, ZSL approaches assume that the training samples from all seen classes are available during the training, which is practically not feasible. To address this issue, we propose a more generalized and practical setup for ZSL, i.e., continual ZSL (CZSL), where classes arrive sequentially in the form of a task and it actively learns from the changing environment by leveraging the past experience. Further, to enhance the reliability, we develop CZSL for a single head continual learning setting where task identity is revealed during the training process but not during the testing. To avoid catastrophic forgetting and intransigence, we use knowledge distillation and storing and replay the few samples from previous tasks using a small episodic memory. We develop baselines and evaluate generalized CZSL on five ZSL benchmark datasets for two different settings of continual learning: with and without class incremental. Moreover, CZSL is developed for two types of variational autoencoders, which generates two types of features for classification: (i) generated features at output space and (ii) generated discriminative features at the latent space. The experimental results clearly indicate the single head CZSL is more generalizable and suitable for practical applications.

연구 동기 및 목표

• 학습 중에 모든 볼 수 있는 클래스가 이용 가능하다는 전제를 가진 전통적인 제로샷 학습(ZSL)의 한계를 해결하기 위해 스트리밍 데이터에서 지속적인 학습을 가능하게 한다.
• 클래스가 순차적으로 도착하는 실용적이고 일반화된 CZSL 설정을 개발하여, 이전 지식을 잊지 않고 학습할 수 있도록 한다.
• 작업에 종속되지 않는 예측을 수행하는 단일 헤드 CZSL 방법을 설계하여 실세계 적용에 더 적합하게 한다.
• 제안된 방법이 두 가지 지속적 학습 설정(클래스 증가 학습 유무) 하에서 평가되도록 한다.
• 실제 샘플을 사용한 경험 재생과 합성 특징 재생의 효과성을 조사한다.

제안 방법

• 이 방법은 두 가지 변형된 변동성 오토에인코더를 사용한다: 출력 공간에서 시각적 특징을 생성하기 위한 조건부 VAE(CVAE), 그리고 잠재 공간에서 구분 가능한 특징을 생성하기 위한 CADA-VAE.
• 경험 재생은 이전 작업의 실제 샘플을 저장하는 소형 에피소딕 메모리로 구현되며, 학습 중 데이터 기반 정규화를 가능하게 한다.
• 지식 정착을 적용하여 치명적인 잊힘을 완화하고, 이전에 학습한 작업에 대한 성능 유지를 보존한다.
• 에피소딕 메모리의 구성에 레저보어 샘플링 전략을 사용하여 저장된 샘플의 다양성과 대표성을 확보한다.
• 모델은 단일 헤드 설정에서 학습되며, 추론 시 작업 식별자가 필요로 하지 않아 실세계 적용 가능성을 높인다.
• 프레임워크는 두 가지 설정에서 평가된다: (1) 클래스 증가 학습 없이 일반화된 CZSL, (2) 표준 ZSL와 동일한 훈련-테스트 분할을 갖는 클래스 증가 학습이 있는 CZSL.

실험 결과

연구 질문

• RQ1 지속적인 제로샷 학습에서 실세계 샘플을 사용한 경험 재생과 합성 특징 재생 간의 성능 비교는 어떻게 되는가?
• RQ2 단일 헤드 CZSL 모델은 순차적 작업 학습 동안 본 적 있는 클래스와 본 적 없는 클래스 모두에서 높은 성능을 유지할 수 있는가?
• RQ3 에피소딕 메모리에 저장할 클래스당 최적의 샘플 수는 얼마인가?
• RQ4 잠재 특징의 차원 수가 CZSL 모델의 일반화 및 강건성에 미치는 영향은 무엇인가?
• RQ5 표준 벤치마크 데이터셋에서 오프라인 ZSL 베이스라인에 비해 제안된 CZSL 방법의 일반화 능력은 어느 정도인가?

주요 결과

• 에피소딕 메모리에 클래스당 1~3개의 샘플만 사용하는 경험 재생을 통한 제안된 CZSL 방법은 베이스라인 방법보다 뚜렷이 뛰어난 성능을 보이며, 메모리에 클래스당 3개의 샘플을 사용할 경우, 본 적 없는 클래스의 정확도가 10퍼센트 이상 향상된다.
• CZSL-CA+res는 CUB 데이터셋에서 높은 성능을 보이며, 일반화된 CZSL 설정-1에서 작업 수가 증가할수록 조화 평균 정확도가 향상되어 효과적인 지식 유지가 이루어짐을 시사한다.
• 최소한의 에피소딕 메모리에서 반복적인 훈련을 통한 데이터 기반 정규화는 과적합을 방지하고 일반화 능력을 향상시키며, 매우 작은 메모리 크기에서도 효과적임을 보여준다.
• 잠재 차원 수가 64를 초과할 경우 성능이 저하되며, 표현력과 압축성의 균형이 중요하며, 최적의 성능은 50~64 차원에서 관찰된다.
• 클래스 증가 설정의 마지막 작업에서 제안된 CZSL 프레임워크는 오프라인 ZSL 베이스라인과 경쟁 가능한 성능을 기록하지만, 여전히 상한선에 비해 성능이 떨어진다.
• 메모리 구성에 레저보어 샘플링 전략을 사용할 경우, 모든 샘플링 전략 중에서 가장 우수한 성능을 기록하여, 대표성 있고 다양한 메모리 콘텐츠를 유지하는 데 효과적임을 입증한다.