[논문 리뷰] Continual Learning Through Synaptic Intelligence

Friedemann Zenke, Ben Poole외 1명|arXiv (Cornell University)|2017. 03. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 68

한 줄 요약

이 논문은 학습 중 시냅스별 중요도를 누적하고 온라인 2차 수렴 패널티를 적용하여 중요한 가중치를 보호함으로써 잊어버림을 줄이고 효율성을 유지하는 지속 학습을 가능하게 하는 지능형 시냅스를 도입합니다.

ABSTRACT

While deep learning has led to remarkable advances across diverse applications, it struggles in domains where the data distribution changes over the course of learning. In stark contrast, biological neural networks continually adapt to changing domains, possibly by leveraging complex molecular machinery to solve many tasks simultaneously. In this study, we introduce intelligent synapses that bring some of this biological complexity into artificial neural networks. Each synapse accumulates task relevant information over time, and exploits this information to rapidly store new memories without forgetting old ones. We evaluate our approach on continual learning of classification tasks, and show that it dramatically reduces forgetting while maintaining computational efficiency.

연구 동기 및 목표

• 비정상적 데이터 스트림에서 학습할 때 발생하는 뉴럴 네트워크의 재앙적 망각을 동기화하고 해결합니다.
• 과거 작업에 대한 각 매개변수의 중요도를 온라인으로 추정하는 시냅스 수준 메커니즘을 제안합니다.
• 중요한 시냅스를 보호하고 중요하지 않은 시냅스가 새로운 작업에 적응하도록 하는 로컬, 온라인 수렴 패널티를 개발합니다.
• 온라인 시냅스 지능이 여러 작업에 걸쳐 학습의 안정성을 확보하고 경쟁력 있는 성능과 확장성을 보임을 보여줍니다.

제안 방법

• 각 시냅스에 대해 μ 작업 동안 시냅스마다의 그래디언트 × 매개변수 업데이트의 실행 누적 합으로 ωμk를 정의합니다.
• 중요한 시냅스의 변화를 Ωμk = sumν<μωνk(∆νk)2 + ξ로 패널티를 부여하여 과거 작업의 최소값과 궤적을 보존하는 2차 대리 손실 ˜Lμ를 구성합니다.
• 현재 작업 손실 Lμ과 수렴 항을 ˜Lμ = Lμ + c Σk Ωμk(˜θk − θk)^2로 결합합니다.
• 학습 중에 ωk를 온라인으로 업데이트하고 각 작업의 끝에서 Ωμk를 축적한 뒤 ωk를 재설정하여 작업 간 지속 학습이 가능하도록 합니다.
• 특정 경우에서 축적된 중요도가 해essian 구조와 정렬되며 특히 저랭크 또는 대각선 시나리오에서 그 관계를 보입니다.

실험 결과

연구 질문

• RQ1 연속 학습에서 시냅스 수준의 역학을 어떻게 활용하여 재앙적 망각을 방지할 수 있는가?
• RQ2 온라인, 시냅스별 중요도 추정과 로컬 수렴 패널티를 결합하면 오래된 작업에서의 성능을 유지하면서 새로운 작업을 학습할 수 있는가?
• RQ3 제안된 시냅스 지능 프레임워크가 Elastic Weight Consolidation(EWC) 등 기존 방법과 비교해 효과 및 온라인 계산 측면에서 어떤 차이가 있는가?
• RQ4 온라인 중요도 측정치와 손실 지형의 곡률(Hessian) 사이에 이론적 관계는 무엇인가?
• RQ5 단순 MNIST 분할을 넘는 더 큰 데이터셋 및 더 복잡한 아키텍처에 대해 이 접근법은 확장 가능한가?

주요 결과

• 시냅스별 중요도에 기반한 수렴은 분할 및 임의 MNIST에서 잊어버림을 대폭 줄이는 동시에 학습 효율성을 유지합니다.
• 분할 MNIST에서 수렴을 적용한 네트워크는 수렴이 없는 경우에 비해 작업 간 평균 정확도가 높게 유지됩니다.
• 임의 MNIST에서 수렴은 공동 학습에 근접한 성능을 달성하며 EWC와 비교해 우수한 성능을 보입니다.
• CIFAR-10/100 분할에서도 수렴은 기억을 보호하고 여러 작업에 걸쳐 더 나은 일반화를 보입니다.
• 상관 분석은 수렴이 중요한 가중치의 작업 간 결합을 감소시켜 간섭을 완화함을 보여줍니다.
• 온라인 시냅스별 접근은 offline Fisher 기반 측정에 대한 확장 가능한 대안을 제공하며 기억 수렴에 대한 저랭크 Hessian 직관과 일치합니다.