[논문 리뷰] REMIND Your Neural Network to Prevent Catastrophic Forgetting

Tyler L. Hayes, Kushal Kafle외 3명|arXiv (Cornell University)|2019. 10. 06.

Multimodal Machine Learning Applications참고 문헌 87인용 수 22

한 줄 요약

REMIND는 뇌에 영감을 받은 온라인 학습 프레임워크로, 원시 픽셀 대신 압축되고 양자화된 특징 표현을 재생하여 신경망에서 치명적인 잊음 현상을 방지한다. 메모리 인덱싱을 효율적으로 하기 위해 제품 양자화(Produt Quantization)를 사용하여, REMIND는 스트리밍 학습 환경에서 ImageNet에서 최고 성능을 기록하며 기존 방법보다 21.9% 높은 정확도를 달성했고, 12시간 이내에 학습을 완료하였다. 이는 스트리밍 시각질문응답(Visual Question Answering)과 같은 작업으로의 강건성과 일반화 능력을 입증한다.

ABSTRACT

People learn throughout life. However, incrementally updating conventional neural networks leads to catastrophic forgetting. A common remedy is replay, which is inspired by how the brain consolidates memory. Replay involves fine-tuning a network on a mixture of new and old instances. While there is neuroscientific evidence that the brain replays compressed memories, existing methods for convolutional networks replay raw images. Here, we propose REMIND, a brain-inspired approach that enables efficient replay with compressed representations. REMIND is trained in an online manner, meaning it learns one example at a time, which is closer to how humans learn. Under the same constraints, REMIND outperforms other methods for incremental class learning on the ImageNet ILSVRC-2012 dataset. We probe REMIND's robustness to data ordering schemes known to induce catastrophic forgetting. We demonstrate REMIND's generality by pioneering online learning for Visual Question Answering (VQA).

연구 동기 및 목표

• 비독립identically distributed (non-iid) 데이터 스트림에서 학습할 경우 신경망이 이전 지식을 덮어쓰는 치명적인 잊음 현상을 해결하기 위해 지속적인 온라인 학습 환경에서의 문제를 다루는 것.
• 뇌의 해마 구조에서의 색인화 및 기억 재생을 영감으로 삼아 생물학적으로 타당한 학습 방법을 개발하는 것.
• 원시 이미지 재생 대신 압축된 표현을 사용하여 메모리 제약 조건 하에서 효율적인 온라인 학습을 가능하게 하는 것.
• 기존에 온라인 학습에서 다뤄지지 않은 새로운 작업인 스트리밍 시각질문응답(Visual Question Answering, VQA)으로 이 방법을 확장하는 것.
• 스트리밍 VQA를 위한 새로운 기준과 평가 프로토콜을 수립하고, CLEVR 및 TDIUC 데이터셋에서 강력한 성능을 입증하는 것.

제안 방법

• REMIND는 나중에 재생하기 위해 은닉 특징 맵(예: ResNet-18에서 유도된)을 압축하고 저장하기 위해 제품 양자화(Product Quantization, PQ)를 사용한다. 이는 효율적인 메모리 색인화를 가능하게 한다.
• 모델은 한 예제씩 순차적으로 네트워크를 업데이트함으로써 인간과 유사한 스트리밍 학습을 시뮬레이션한다.
• 학습 중에 REMIND는 현재 데이터와 과거 경험에서 무작위로 샘플링한 압축된 표현의 혼합물을 기반으로 네트워크를 미세조정한다.
• 재생 버퍼는 무작위 교체 방식으로 업데이트되어, 높은 계산 부담 없이 고정된 크기의 압축된 특징 메모리를 유지한다.
• VQA 작업에 대해서는 REMIND가 압축된 시각-언어적 특징을 재생함으로써 멀티모odal 표현을 스트리밍 입력 간에 유지한다.
• 이 방법은 테스트 시 태스크 레이블에 의존하지 않아, 치명적인 잊음을 유도하는 실제 세계의 데이터 순서에 대해 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 원시 픽셀 재생보다 압축된 고수준 특징 표현 재생이 온라인 학습에서 치명적인 잊음을 더 효과적으로 완화할 수 있는가?
• RQ2 엄격한 메모리 및 계산 제약 조건 하에서 REMIND는 ImageNet에서 배치 기반 및 스트리밍 기반 기준 모델보다 어떻게 성능을 내는가?
• RQ3 REMIND는 아키텍처 수정 없이도 스트리밍 시각질문응답(VQA)과 같은 멀티모달 작업으로 일반화될 수 있는가?
• RQ4 클래스 인크리멘탈 또는 인스턴스 인크리멘탈 방식과 같이 치명적인 잊음을 유도하는 방식으로 데이터가 정렬되어 있을 경우 REMIND는 강건성을 유지하는가?
• RQ5 REMIND는 배치 학습 방식이 65시간 이상 소요되는 것과 달리 12시간 이내에 학습을 완료하면서 오프라인 전체 배치 학습 성능에 가까운 성능을 달성할 수 있는가?

주요 결과

• REMIND는 스트리밍 설정에서 ImageNet에서 99.5%의 상위-5 정확도를 기록하여, 최고의 스트리밍 기준 모델보다 21.9% 높은 성능을 달성했고, 최고의 배치 모델과도 1.9% 이내로 높은 성능를 보였다.
• CORe50 데이터셋에서 REMIND는 EWC, MAS, A-GEM과 같은 정규화 기반 방법보다도 뛰어난 성능를 보였으며, 태스크 레이블을 제공하지 않은 상황에서도 잊음에 대한 강건성을 입증했다.
• REMIND는 ImageNet에서 학습 시간을 12시간 이내로 단축시켰고, 최고 성능의 배치 방법인 BiC의 경우 65시간이 소요되었다.
• 스트리밍 VQA에서 REMIND는 CLEVR 및 TDIUC에서 뛰어난 성능를 기록하여 새로운 기준을 설정했고, 이미지 분류를 넘어서 일반화 능력을 입증했다.
• REMIND는 클래스 순서 또는 인스턴스 순서 스트림을 포함한 다양한 데이터 순서 방식에서도 성능가 안정성을 유지하여, 잊음 유도 순서에 대한 내성적 저항력을 보였다.
• PQ를 통한 압축 표현 사용 덕분에, 원시 픽셀 재생에 의존하는 방법보다 동일한 메모리 예산 내에서 훨씬 더 많은 경험을 저장할 수 있었다.