[논문 리뷰] Online Lifelong Generalized Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran외 2명|arXiv (Cornell University)|2021. 03. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 작업 경계 정보 없이 스트리밍 데이터에서 학습할 수 있도록 허용하는 최초의 작업 자유형 지속적 일반화 제로샷 학습(CZSL) 프레임워크를 제안한다. 변동성 오토인코더, 경험 재생, 어두운 지식을 이용한 지식 정착, 그리고 단기 기억을 조합함으로써, 최소한의 치명적 잊음으로 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 조화 평균 정확도에서 이전 방법보다 최대 9% 향상된다.

ABSTRACT

Methods proposed in the literature for zero-shot learning (ZSL) are typically suitable for offline learning and cannot continually learn from sequential streaming data. The sequential data comes in the form of tasks during training. Recently, a few attempts have been made to handle this issue and develop continual ZSL (CZSL) methods. However, these CZSL methods require clear task-boundary information between the tasks during training, which is not practically possible. This paper proposes a task-free (i.e., task-agnostic) CZSL method, which does not require any task information during continual learning. The proposed task-free CZSL method employs a variational autoencoder (VAE) for performing ZSL. To develop the CZSL method, we combine the concept of experience replay with knowledge distillation and regularization. Here, knowledge distillation is performed using the training sample's dark knowledge, which essentially helps overcome the catastrophic forgetting issue. Further, it is enabled for task-free learning using short-term memory. Finally, a classifier is trained on the synthetic features generated at the latent space of the VAE. Moreover, the experiments are conducted in a challenging and practical ZSL setup, i.e., generalized ZSL (GZSL). These experiments are conducted for two kinds of single-head continual learning settings: (i) mild setting-: task-boundary is known only during training but not during testing; (ii) strict setting-: task-boundary is not known at training, as well as testing. Experimental results on five benchmark datasets exhibit the validity of the approach for CZSL.

연구 동기 및 목표

• 기존의 제로샷 학습(ZSL)과 지속적 학습의 한계를 해결하기 위해 순차적 데이터를 처리하거나 치명적 잊음을 방지할 수 있도록 하기 위해.
• 학습 또는 추론 중에 작업 경계 정보가 없이도 작동하는 지속적 ZSL 프레임워크를 개발하기 위해 — 즉, 진정한 작업 자유 설정을 위한 것이다.
• 실제 세계의 실용적 상황에서 데이터가 순차적으로 도착하고 작업 정체성이 알려지지 않은 환경에서의 수명 주기 학습을 가능하게 하기 위해.
• 기존 벤치마크가 작업 경계를 가정하고 있으므로, 작업 자유형 CZSL에 적합한 새로운 평가 프로토콜을 제안하기 위해.
• 일반화 ZSL 설정에서 본래의 클래스와 본 적이 없는 클래스 모두에서 높은 성능를 유지하면서 치명적 잊음을 최소화하기 위해.

제안 방법

• 잠재 공간에서의 제로샷 분류를 가능하게 하기 위해, 의미론적 클래스 기술자에서 합성 시각적 특징을 생성하기 위해 변동성 오토인코더(VAE)를 사용한다.
• 기존 데이터 샘플을 저장하는 메모리 버퍼(M)를 사용한 경험 재생을 통해 과거 데이터와 함께 현재 데이터를 함께 훈련함으로써 잊음을 완화한다.
• 학생-선생 모델 구조 없이도 모델의 능력을 전이하고 일반화를 향상시키기 위해 훈련 샘플의 '어두운 지식'을 이용한 지식 정착을 적용한다.
• 최근 샘플을 저장하는 단기 기억(M_st)을 도입하여 시간적 맥락을 유지함으로써 효과적인 작업 자유 학습을 가능하게 한다.
• VAE가 생성한 잠재 특징에 대해 분류기를 훈련시키며, 재생과 정착으로부터 온 정규화를 통해 학습 안정성을 높인다.
• 고정된 메모리(M_b)를 사용하는 전략과 동적 단기 기억(M_st)을 사용하는 전략의 두 가지 훈련 방식을 지원하며, 후자가 더 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 학습 또는 추론 중에 작업 경계 정보가 필요 없이 지속적 제로샷 학습 프레임워크를 개발할 수 있는가?
• RQ2 작업 레이블이 없는 지속적 일반화 제로샷 학습 환경에서 치명적 잊음을 효과적으로 완화할 수 있는가?
• RQ3 경험 재생과 어두운 지식 정착이 작업 자유 CZSL 설정에서 성능에 어떤 영향을 미치는가?
• RQ4 메모리 크기와 잠재 차원 수가 제안된 작업 자유 CZSL 프레임워크에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 엄격한 지속적 학습 조건 하에서 일반화 제로샷 학습의 상한 성능에 얼마나 가까이 다가갈 수 있는가?

주요 결과

• 단기 기억(M_st)을 사용한 제안된 Tf-GCZSL 방법은 CUB, aPY, AWA1, AWA2, SUN 데이터셋에서 기준 방법(M_b)보다 조화 평균 정확도에서 5% 이상 높은 성능을 기록했다.
• Tf-GCZSL는 CUB에서 상한 성능의 8.55% 이내, aPY에서 9.28%, AWA1에서 4.38%, AWA2에서 1.49%, SUN에서 8.14% 이내의 조화 평균 정확도를 달성하여 이론적 한계에 매우 가까운 뛰어난 성능를 보였다.
• 어두운 지식을 이용한 지식 정착은 특히 단기 기억과 조합했을 때 성능 향상에 크게 기여하여 더 나은 일반화와 더 적은 잊음을 유도했다.
• 메모리 크기가 증가하고 잠재 차원 수가 최적일수록 성능이 향상되며, 너무 작거나 너무 큰 차원 수는 특징 품질과 모델 성능을 떨어뜨린다.
• 제거 분석 결과, CUB 데이터셋에서 모든 하이퍼파라미터 설정에서 제안된 방법이 순차적 기준 방법을 일관되게 초월함을 확인했다.
• 경험 재생 샘플과 함께의 공동 훈련으로 모델이 최근 데이터에 과적합되는 것을 방지하고, 치명적 잊음에 강건함을 보였다.