[논문 리뷰] Overcoming catastrophic forgetting in neural networks

James Kirkpatrick, Razvan Pascanu외 12명|arXiv (Cornell University)|2016. 12. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 72

한 줄 요약

이 논문은 지속적 학습 중에 중요한 가중치를 보호함으로써 순차적 학습에서의 치명적 잊음 문제를 해결하기 위한 엘라스틱 웨이트 콜라보레이션(EWC)을 제안한다. 중요한 파라미터에 대한 학습 속도를 늦추기 위해 피셔 정보를 사용함으로써, EWC는 딥 네트워크가 이전 지식을 잊지 않고 다수의 작업을 순차적으로 학습할 수 있도록 하며, MNIST와 아케이드 2600 게임에서 성공을 보였다.

ABSTRACT

The ability to learn tasks in a sequential fashion is crucial to the development of artificial intelligence. Neural networks are not, in general, capable of this and it has been widely thought that catastrophic forgetting is an inevitable feature of connectionist models. We show that it is possible to overcome this limitation and train networks that can maintain expertise on tasks which they have not experienced for a long time. Our approach remembers old tasks by selectively slowing down learning on the weights important for those tasks. We demonstrate our approach is scalable and effective by solving a set of classification tasks based on the MNIST hand written digit dataset and by learning several Atari 2600 games sequentially.

연구 동기 및 목표

• 신규 작업에 대해 훈련할 때 이전에 학습한 작업의 성능이 떨어지는 순차적 학습에서의 치명적 잊음 문제를 해결하기 위해.
• 이전 데이터의 재생이 필요 없이도 깊이 있는 신경망에서 지속적 학습을 가능하게 하는 확장 가능한 알고리즘을 개발하기 위해.
• 신경생물학적 시냅스 통합을 영감으로 삼아 인공 네트워크를 위한 생물학적으로 타당한 학습 메커니즘을 설계하기 위해.
• 제안된 방법이 지도 학습 및 강화 학습 환경 모두에서 효과적인지 입증하기 위해.
• 작업 중요도 기반의 파라미터 정규화를 통해 깊이 있는 네트워크에서 과거의 작업 특화 지식을 장기적으로 유지하기 위해.

제안 방법

• EWC는 이전에 학습된 작업에 대해 네트워크 내 각 가중치의 중요도를 추정하기 위해 피셔 정보 행렬을 사용한다.
• 이전 작업에 핵심적인 파라미터에 대해 이차형 페널티를 적용함으로써, 이후 훈련 중에 그들의 업데이트 속도를 효과적으로 늦춘다.
• 페널티 항목은 파arameter의 점 추정치를 기반으로 근사된 피셔 정보 행렬의 대각선을 사용하여 계산된다.
• 이 방법은 계산적으로 효율적이며, 파라미터 수와 훈련 예제 수에 대해 선형 시간 복잡도를 가진다.
• EWC는 표준 백프로파게이션과 함께 사용할 수 있으며, 지도 학습 및 강화 학습 프레임워크 모두와 호환된다.
• 이 알고리즘은 베이지안 추론에 기반하며, 네트워크 가중치에 대한 사전 확률이 이전 작업의 사후 확률에서 유도된다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 치명적 잊음을 경험하지 않고 다수의 작업을 순차적으로 학습할 수 있는가?
• RQ2 지속적 학습 중에 이전에 학습한 작업에 핵심적인 파라미터를 식별하고 보호할 수 있는가?
• RQ3 시냅스 통합과 같은 생물학적으로 영감을 받은 메커니즘이 인공 신경망에 효과적으로 구현될 수 있는가?
• RQ4 파라미터 중요도 측정으로 피셔 정보를 사용할 경우, 이전 지식의 유지에 더 효과적인가?
• RQ5 EWC는 아케이드 2600 게임과 같은 복잡한 실제 환경으로 확장 가능한가?

주요 결과

• EWC는 MNIST 숫자 분류 작업에서 순차적 학습 중에 치명적 잊음을 성공적으로 방지하여 이전에 학습한 숫자에 대해 높은 정확도를 유지한다.
• 이 방법은 딥 강화 학습 에이전트가 아케이드 2600 게임을 순차적으로 학습하면서도 이전 게임의 성능을 유지할 수 있도록 한다.
• EWC는 최소한의 계산 오버헤드를 가지며, 파라미터 수와 훈련 예제 수에 대해 선형적으로 확장된다.
• 파라미터 중요도를 추정하기 위해 피셔 정보를 사용함으로써, 단순한 가중치 감소나 무작위 제거보다 더 효과적인 정규화가 이루어진다.
• EWC는 경험 재생 및 고정 사전 확률를 사용하는 엘라스틱 웨이트 콜라보레이션과 같은 이전 방법들을 능가하며, 특히 고차원적이고 복잡한 도메인에서 유의미한 성능 향상을 보인다.
• 이 알고리즘의 성공은 뇌의 시냅스 통합 메커니즘이 장기 기억 유지의 기초가 될 수 있으며, 이를 인공 시스템에 모방할 수 있다는 가설을 뒷받침한다.