[논문 리뷰] Pseudo-Rehearsal for Continual Learning with Normalizing Flows

Jary Pomponi, Simone Scardapane외 1명|arXiv (Cornell University)|2020. 07. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 정규화 흐름을 사용하여 과거 작업의 임베딩을 생성함으로써 정규화를 위한 지속적 학습 방법인 PRER를 제안한다. 이는 임베딩 공간에서 효율적인 가짜 재회수를 가능하게 하며, 일정한 메모리 오버헤드와 낮은 계산 비용으로 최신 기술 성능을 달성한다.

ABSTRACT

Catastrophic forgetting (CF) happens whenever a neural network overwrites past knowledge while being trained on new tasks. Common techniques to handle CF include regularization of the weights (using, e.g., their importance on past tasks), and rehearsal strategies, where the network is constantly re-trained on past data. Generative models have also been applied for the latter, in order to have endless sources of data. In this paper, we propose a novel method that combines the strengths of regularization and generative-based rehearsal approaches. Our generative model consists of a normalizing flow (NF), a probabilistic and invertible neural network, trained on the internal embeddings of the network. By keeping a single NF conditioned on the task, we show that our memory overhead remains constant. In addition, exploiting the invertibility of the NF, we propose a simple approach to regularize the network's embeddings with respect to past tasks. We show that our method performs favorably with respect to state-of-the-art approaches in the literature, with bounded computational power and memory overheads.

연구 동기 및 목표

• 생성적 재회수와 임베딩 수준의 정규화를 조합하여 지속적 학습에서 치명적인 잊음 문제를 해결한다.
• 대규모 데이터셋에서 높은 메모리 요구량과 복잡한 생성 모델이 필요한 입력 공간 가짜 재회수의 한계를 극복한다.
• 원시 입력 대신 저차원 임베딩에 기반해 생성 모델을 훈련시킴으로써 메모리와 계산 오버헤드를 줄인다.
• 다양한 지속적 학습 벤치마크에서 가중치 초기화에 대한 민감도를 줄이고 일반화 능력을 향상시킨다.
• 작은 배치에서의 단순한 데이터 재재생보다 생성된 임베딩을 사용한 정규화가 더 효과적임을 입증한다.

제안 방법

• 분류기 네트워크의 내부 임베딩(후보성 특징 이후의 특징)에 정규화 흐름(NF)을 훈련시되, 입력 이미지가 아닌 임베딩에 기반한다.
• NF를 생성 모델로 사용하여 훈련 중 과거 작업의 임베딩을 샘플링함으로써 원시 데이터를 저장하지 않고도 지속적인 가짜 재회수를 가능하게 한다.
• 이전에 학습된 클래스에 해당하는 임베딩을 생성하기 위해 NF를 작업 정체성으로 조건화한다.
• 최근에 추출한 임베딩과 NF에서 샘플링한 임베딩 간의 L2 거리 최소화를 통해 인코더를 정규화함으로써 과거 지식과의 일致성을 강제한다.
• 학습 단계 동안 분류기와 NF를 함께 훈련하며, 과거 임베딩를 더 잘 재구성할 수 있도록 NF를 업데이트한다.
• NF의 가역성 덕분에 안정적인 밀도 추정과 샘플링이 가능하며, GAN에서 흔히 발생하는 훈련 불안정성 문제를 피할 수 있다.

실험 결과

연구 질문

• RQ1 내부 임베딩에 기반해 훈련된 정규화 흐름이 지속적 학습에서 과거 작업의 대표적인 샘플을 효과적으로 생성할 수 있는가?
• RQ2 생성된 임베딩을 사용한 정규화가 표준 데이터 재재생 또는 가중치 정규화보다 치명적인 잊음을 줄이는 데 더 효과적인가?
• RQ3 단일의 작업 조건부 정규화 흐름이 점차 증가하는 작업 수에 비해 일정한 메모리 오버헤드를 유지할 수 있는가?
• RQ4 기존의 재회수 및 정규화 기반 방법들과 비교해 메모리와 계산 측면에서의 확장성은 어떠한가?
• RQ5 이 방법은 가중치 초기화에 대해 더 강건하며, 데이터셋의 복잡성에 대비해 성능 향상을 이룬다.

주요 결과

• PRER는 비교된 모든 방법들 중에서 가장 높은 백워드 전이(BWT) 점수를 기록했으며, MNIST와 CIFAR10에서 LWF, EWC, GEM, ER를 크게 앞서나갔다.
• MNIST에서 PRER는 BWT 약 1.8을 기록했으며, ER의 4.5와 LWF의 6.0에 비해 지식 유지 능력이 뛰어나다.
• PRER의 메모리 요구량은 매우 낮으며, 단지 ~148K개의 부동소수점 수치로, 일정 크기의 정규화 흐름 덕분이며, ER(834K)와 GEM(1960K)를 뛰어넘는다.
• MNIST에서 PRER의 훈련 시간은 약 20분으로, LWF와 EWC와 유사하며, GEM의 약 60분보다 훨씬 낮다.
• 이 방법은 가중치 초기화에 대해 강건하며, 5개의 랜덤 시드에 대해 낮은 분산을 보였고, LWF와 EWC는 초기화에 민감한 반면 이는 그렇지 않다.
• 임베딩 공간에서의 생성을 통해 생성 모델의 복잡도를 줄여, GAN 방식의 불안정성 없이 효율적인 훈련과 샘플링을 가능하게 했다.