[논문 리뷰] Continual Learning and Catastrophic Forgetting

Gido M. van de Ven, Nicholas Soures외 1명|arXiv (Cornell University)|2024. 03. 08.

Cognitive Science and Education Research인용 수 4

한 줄 요약

이 책 챕터는 지속적 학습에서 깊이 있는 신경망의 재편성에 대한 종합적인 리뷰를 제공하며, 새로운 작업을 학습할 때 이전에 습득한 지식을 빠르게 상실하는 '극심한 기억 상실' 현상에 초점을 맞춘다. 여섯 가지 핵심 계산적 접근 방식—재생, 파라미터 정규화, 기능 정규화, 최적화 기반 방법, 맥락 기반 처리, 템플릿 기반 분류—를 서술하면서, 기억 상실을 해결하는 것만으로는 부족하며, 진정한 지속적 지능을 위해서는 효율적이고 적응적이며 자원을 고려하는 학습이 필수적임을 강조한다.

ABSTRACT

This book chapter delves into the dynamics of continual learning, which is the process of incrementally learning from a non-stationary stream of data. Although continual learning is a natural skill for the human brain, it is very challenging for artificial neural networks. An important reason is that, when learning something new, these networks tend to quickly and drastically forget what they had learned before, a phenomenon known as catastrophic forgetting. Especially in the last decade, continual learning has become an extensively studied topic in deep learning. This book chapter reviews the insights that this field has generated.

연구 동기 및 목표

• 지속적 학습에서 깊이 있는 신경망의 과제, 특히 극심한 기억 상실을 분석하기.
• 비정적 데이터 스트림으로부터 점진적으로 학습하는 데 있어 현재의 딥 러닝 모델의 한계를 규명하기.
• 지속적 학습에 있어 딥 러닝과 인지 과학 간의 공통점과 차이점을 분석함으로써 두 분야 간의 통찰을 연결하기.
• 작업 기반 대비 작업 자유형 및 점진적 학습 설정을 포함한 다양한 지속적 학습 프레임워크를 평가하고 비교하기.
• 성능, 진단, 자원 효율성 지표를 포함하는 통합 평가 프레임워크의 필요성을 주장하기.

제안 방법

• 지속적 학습을 작업 기반 및 작업 자유형 설정으로 분류하고, 작업, 도메인, 클래스 증분 학습으로 나누며, 이를 상호 배타적인 차원으로 간주한다.
• 여섯 가지 주요 계산 전략을 검토한다: (i) 경험 재생, (ii) 파라미터 정규화(예: 디스틸레이션), (iii) 기능 정규화(예: 시냅스 지능), (iv) 최적화 기반 방법(예: 학습률 스케줄링), (v) 맥락 기반 처리, (vi) 템플릿 기반 분류.
• 작업 기반 및 작업 자유형 지속적 학습을 통합하는 통합 프레임워크를 제안하여 모델의 민첩하고 확장 가능한 적응을 가능하게 한다.
• 성능(예: 정확도), 진단 분석(예: 기억 상실률), 자원 효율성(예: 메모리 및 계산 자원 사용량)을 포함하는 다차원 평가 지표의 사용을 강조한다.
• 딥 러닝 방법을 제어된 기억 상실과 같은 인지 원칙과 맞추는 것이 장기적 학습 지속성을 향상시키는 데 중요하다는 점을 부각한다.
• 인공지능의 발전과 생물학적 지능에 대한 이해를 향상시키기 위해 딥 러닝과 인지 과학 간의 다학제적 협력을 장려한다.

실험 결과

연구 질문

• RQ1 왜 극심한 기억 상실은 깊이 있는 신경망에서 지속적 학습의 근본적인 장애물인가?
• RQ2 작업 기반, 작업 자유형, 클래스, 도메인, 작업 증분 학습 등의 다양한 지속적 학습 설정은 각각 어떤 도전 과제와 요구 사항을 지닌가?
• RQ3 재생이나 정규화와 같은 계산 전략이 일반화 능력과 효율성을 유지하면서 극심한 기억 상실을 어느 정도 방지할 수 있는가?
• RQ4 제어된 또는 의도적인 기억 상실은 장기적 지속적 학습을 가능하게 하는 데 어떤 역할을 하는가? 그리고 이를 인공 시스템에 어떻게 모델링할 수 있는가?
• RQ5 인지 과학과 신경과학에서의 통찰은 더 생물학적으로 타당하고 효율적인 지속적 학습 알고리즘 설계에 어떻게 기여할 수 있는가?

주요 결과

• 극심한 기억 상실은 여전히 지속적 학습에서 가장 두드러진 과제이며, 깊이 있는 신경망이 새로운 데이터에 노출될 때 이전에 습득한 지식을 급격히 대체하는 경향이 있다.
• 재생, 파라미터 정규화, 기능 정규화는 기억 상실을 완화하는 데 효과적이지만, 종종 상당한 메모리나 계산 자원을 요구한다.
• 최적화 기반 접근 방식과 맥락 기반 처리 방법은 손실 함수를 직접 수정하는 대신 학습 동역학을 수정함으로써 더 효율적인 적응을 가능하게 한다.
• 템플릿 기반 분류 방법은 분류 경계를 명시적으로 학습할 필요 없이 이전에 짝지어지지 않은 카테고리 간에 제로샷 일반화를 가능하게 한다.
• 지속적 학습 방법의 효과성은 설정에 따라 크게 달라지며, 이는 어떤 한 가지 접근 방식도 문제를 보편적으로 해결하지 못한다는 것을 시사한다.
• 지속적 학습의 종합적 평가는 정확도를 넘어서야 하며, 기억 상실률과 같은 진단 지표와 자원 효율성 지표를 포함하여 실제 운영 환경의 제약 조건을 반영해야 한다.