[논문 리뷰] Learning Invariant Representation for Continual Learning

Ghada Sokar, Decebal Constantin Mocanu외 1명|University of Twente Research Information|2021. 01. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 4

한 줄 요약

이 논문은 지속적 학습을 위한 의사재생 방법인 IRCL을 제안한다. 이 방법은 조건부 변동 자동차오디터(conditional variational autoencoder, cVAE)를 통해 클래스에 불변인 표현을 분리하고, 이를 작업별 특화 표현과 함께 분류에 사용한다. 추론 중에 고급 품질의 클래스 조건 기반 의사 샘플을 생성함으로써, 실제 데이터를 저장할 필요 없이도 작은 재생 샘플 크기에서도 IRCL은 정규화 및 최신 의사재생 방법보다 정확도와 백워드 전이에서 각각 3.5–5.5% 향상된다. 이는 분할된 MNIST 및 패션 MNIST에서 특히 두드러진다.

ABSTRACT

Continual learning aims to provide intelligent agents that are capable of learning continually a sequence of tasks, building on previously learned knowledge. A key challenge in this learning paradigm is catastrophically forgetting previously learned tasks when the agent faces a new one. Current rehearsal-based methods show their success in mitigating the catastrophic forgetting problem by replaying samples from previous tasks during learning a new one. However, these methods are infeasible when the data of previous tasks is not accessible. In this work, we propose a new pseudo-rehearsal-based method, named learning Invariant Representation for Continual Learning (IRCL), in which class-invariant representation is disentangled from a conditional generative model and jointly used with class-specific representation to learn the sequential tasks. Disentangling the shared invariant representation helps to learn continually a sequence of tasks, while being more robust to forgetting and having better knowledge transfer. We focus on class incremental learning where there is no knowledge about task identity during inference. We empirically evaluate our proposed method on two well-known benchmarks for continual learning: split MNIST and split Fashion MNIST. The experimental results show that our proposed method outperforms regularization-based methods by a big margin and is better than the state-of-the-art pseudo-rehearsal-based method. Finally, we analyze the role of the shared invariant representation in mitigating the forgetting problem especially when the number of replayed samples for each previous task is small.

연구 동기 및 목표

• 이전 작업의 실제 데이터가 이용 가능하지 않을 때 지속적 학습에서 치명적인 잊음 현상을 해결하기 위해.
• 이전 실재 샘플을 저장하는 데 의존하지 않는 의사재생 방법을 개발하기 위해.
• 조건부 생성 모델을 사용하여 데이터에서 클래스에 불변인 표현을 분리함으로써, 잊음에 대한 강건성을 향상시키기 위해.
• 추론 시 작업 식별 정보가 제공되지 않더라도 클래스 증가 학습을 가능하게 하기 위해.
• 지식 전이를 향상시키고, 특히 재생 샘플 수가 제한된 상황에서 부정적 백워드 전이를 줄이기 위해.

제안 방법

• 입력 데이터로부터 공통의 클래스에 불변인 표현(z)을 분리하기 위해 조건부 변동 자동차오디터(cVAE)를 사용한다.
• 불변 표현 z를 작업별 특화 분류기 헤드와 함께 결합하여 인식에 사용한다.
• 실제 데이터 재생 대신, 클래스 레이블 조건에 따라 cVAE에서 생성된 샘플을 사용하여 의사재생을 수행한다.
• cVAE의 재구성 손실과 작업 헤드의 분류 손실을 동시에 최적화하여 엔드 투 엔드로 모델을 훈련한다.
• 분리된 불변 표현을 분류기에 입력하여 학습 안정성 향상과 잊음 감소를 도모한다.
• 추론 시 작업 식별 정보가 제공되지 않는 클래스 증가 학습 환경에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 조건부 생성 모델을 통해 학습된 분리된 불변 표현은 지속적 학습에서 치명적인 잊음 현상을 줄일 수 있는가?
• RQ2 실제 데이터가 이용 가능하지 않을 경우, cVAE가 생성한 의사 샘플의 품질은 성능에 어떤 영향을 미치는가?
• RQ3 공통 불변 표현을 분류기에 제공함으로써 일반화 성능 향상과 잊음 감소가 이루어지며, 특히 재생 샘플 수가 적을 경우에 효과적인가?
• RQ4 정규화 기반 및 최신 의사재생 방법과 비교해 IRCL의 정확도 및 백워드 전이 측면에서 성능은 어떠한가?
• RQ5 조건부 생성 기법을 통해 각 클래스별로 제어 가능한 재생 샘플 생성이 가능하여 학습 간섭을 균형 잡을 수 있는가?

주요 결과

• IRCL은 분할된 MNIST 및 분할된 패션 MNIST 벤치마크에서 정규화 기반 방법보다 큰 성능 향상을 기록한다.
• 분할된 MNIST에서 IRCL은 최신 기술(SOTA) 의사재생 방법보다 정확도 3.5% 향상되고 백워드 전이에서 5.5% 향상된다.
• 분할된 패션 MNIST에서 IRCL은 SOTA 의사재생 방법 대비 정확도 4% 향상되고 백워드 전이에서 3% 향상된다.
• 분류기에 공통 불변 표현(z)을 포함시킴으로써 정확도 향상과 부정적 백워드 전이 감소가 일관되게 관찰되며, 특히 재생 샘플 크기가 작을 경우 두드러진다.
• 조건부 생성은 더 높은 품질의 의사 샘플을 생성하여 성능 향상과 잊음 감소에 기여한다.
• 제거 실험 결과, 불변 표현이 잊히기 쉬운 경향이 적고, 이는 이전 작업의 성능 유지에 핵심적인 역할을 한다는 것이 확인되었다.