[논문 리뷰] Generative Replay-based Continual Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran외 2명|arXiv (Cornell University)|2021. 01. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 10

한 줄 요약

이 논문은 기존의 모든 볼 수 있는 클래스 데이터가 훈련 시 필요로 하는 제로샷 학습(ZSL) 방법의 한계를 해결하기 위해, 이전 작업의 디코더에서 생성된 합성 샘플을 사용하는 조건부 변동형 오토인코더(CVAE)를 활용한 생성 재생 기반 연속 제로샷 학습(GRCZSL)을 제안한다. 이는 치명적인 잊힘을 완화하면서, 재학습 없이 점진적으로 증가하는 클래스에서 학습할 수 있도록 한다. 제안된 방법은 고정 및 동적 클래스 증가 설정 모두에서 다섯 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 조화 평균 정확도에서 최대 8%의 향상을 보였다.

ABSTRACT

Zero-shot learning is a new paradigm to classify objects from classes that are not available at training time. Zero-shot learning (ZSL) methods have attracted considerable attention in recent years because of their ability to classify unseen/novel class examples. Most of the existing approaches on ZSL works when all the samples from seen classes are available to train the model, which does not suit real life. In this paper, we tackle this hindrance by developing a generative replay-based continual ZSL (GRCZSL). The proposed method endows traditional ZSL to learn from streaming data and acquire new knowledge without forgetting the previous tasks' gained experience. We handle catastrophic forgetting in GRCZSL by replaying the synthetic samples of seen classes, which have appeared in the earlier tasks. These synthetic samples are synthesized using the trained conditional variational autoencoder (VAE) over the immediate past task. Moreover, we only require the current and immediate previous VAE at any time for training and testing. The proposed GRZSL method is developed for a single-head setting of continual learning, simulating a real-world problem setting. In this setting, task identity is given during training but unavailable during testing. GRCZSL performance is evaluated on five benchmark datasets for the generalized setup of ZSL with fixed and dynamic (incremental class) settings of continual learning. The existing class setting presented recently in the literature is not suitable for a class-incremental setting. Therefore, this paper proposes a new setting to address this issue. Experimental results show that the proposed method significantly outperforms the baseline and the state-of-the-art method and makes it more suitable for real-world applications.

연구 동기 및 목표

• 실제 스트리밍 환경에서 구현이 어려운, 모든 볼 수 있는 클래스 데이터가 훈련 시 필요로 하는 기존 제로샷 학습(ZSL) 방법의 한계를 해결하기 위해.
• 재학습 없이 점진적으로 증가하는 클래스에서 학습하면서 치명적인 잊힘을 방지할 수 있는 연속 ZSL 프레임워크를 개발하기 위해.
• 오프라인 ZSL 기준선과의 공정한 비교를 가능하게 하는 클래스 증가 설정 기반의 새로운 평가 설정을 제안하기 위해.
• 이전 작업의 디코더만을 사용하여 생성 재생을 수행할 경우, 메모리 및 계산 비용을 최소화하면서도 이전에 학습한 클래스의 성능 유지가 가능한지 확인하기 위해.

제안 방법

• 이 방법은 이전 작업의 디코더를 사용하여 이전에 학습된 볼 수 있는 클래스에 대한 합성 시각적 샘플을 생성하기 위해 조건부 변동형 오토인코더(CVAE)를 활용한다.
• 생성 재생은 현재 작업의 실재 데이터와 이전 작업의 CVAE에서 생성된 합성 데이터를 조합하여 현재 모델을 훈련시킴으로써 적용된다.
• 전체 모델을 저장하는 것과 비교해, 현재 작업의 전체 모델과 이전 작업의 디코더만을 저장함으로써 메모리 사용량을 줄인다.
• 모델은 추론 시 작업 식별자가 제공되지 않는 단일 헤드 설정에서 훈련되며, 실제 운영 환경을 시뮬레이션한다.
• 훈련 중 현재 및 이전 작업 샘플의 기여도를 조절하기 위해 작업 중요도 하이퍼파라미터(α)를 도입한다.
• 고정 및 동적 클래스 증가 설정 모두를 지원하며, 후자의 경우 볼 수 있는 클래스와 볼 수 없는 클래스 모두가 점진적으로 증가하는 것을 허용한다.

실험 결과

연구 질문

• RQ1 전체 모델을 저장하지 않고도 생성 재생 기반 접근이 연속 제로샷 학습에서 치명적인 잊힘을 효과적으로 방지할 수 있는가?
• RQ2 동일한 테스트 분할 조건에서 연속 ZSL 모델의 성능은 오프라인 비연속적 모델과 비교해 어떻게 되는가?
• RQ3 작업 중요도(α)를 다양하게 조절할 경우, 이는 이전 작업의 지식 유지 능력과 새로운 클래스 학습 능력에 어떤 영향을 미치는가?
• RQ4 기존 방법이 고정된 클래스 집합을 가정하는 것과 달리, 이 제안된 방법은 볼 수 있는 클래스와 볼 수 없는 클래스가 모두 시간이 지남에 따라 증가하는 클래스 증가 학습을 어떻게 처리할 수 있는가?
• RQ5 이전 디코더만을 사용하여 재생을 수행할 경우, 이전에 학습한 클래스의 성능 유지에 충분한 신호를 제공할 수 있는가?

주요 결과

• GRCZSL는 고정 및 동적 클래스 증가 설정 모두에서 다섯 가지 벤치마크 데이터셋(CUB, aPY, AWA1, AWA2, SUN)에서 모든 베이스라인 방법보다 뛰어난 성능을 보였다.
• 동적 설정에서 GRCZSL는 CUB 데이터셋에서 베이스라인 대비 조화 평균 정확도가 8% 이상 향상되어 뚜렷한 개선을 보였다.
• aPY 및 SUN 데이터셋에서는 고정 설정에서 각각 1.5% 이상, 0.3% 이상의 조화 평균 정확도 향상을 기록했다.
• 제거 실험 결과, 작업 중요도(α)가 [0.3, 0.5] 범위일 때 가장 우수한 성능를 보였으며, α=0 또는 α=1일 경우 성능이 가장 열 劣했다.
• 강력한 성능를 보였음에도 불구하고, GRCZSL는 마지막 작업에서 오프라인 CVAE 상한선보다 여전히 뒤처져 있어 장기적 일반화 능력 향상 여력이 있음을 시사한다.
• 모델은 모든 작업에서 볼 수 없는 클래스에 대해 안정적인 성능를 유지했으며, mUA(평균 볼 수 없는 정확도)가 mH(조화 평균)와 유사한 추세를 보여, 제로샷 일반화 능력이 우수함을 확인했다.