[논문 리뷰] Attention-Based Structural-Plasticity

Soheil Kolouri, Nicholas Ketz외 3명|arXiv (Cornell University)|2019. 03. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 4

한 줄 요약

이 논문은 뇌의 아세틸콜린계 시스템을 영감으로 삼아 치명적인 잊음(catastrophic forgetting)을 완화하기 위한 주의 기반 선택적 가소성 메커니즘을 제안한다. 백프로파게이션과 병렬로 헤브시안 규칙을 통해 시냅스 중요도를 학습함으로써, 비용이 많이 들지 않는 초모수 조정을 통해 중요한 가중치를 동적으로 보호하는 방법으로, Permuted MNIST와 Split MNIST에서 EWC 및 시냅스 지능(Synaptic Intelligence)과 경쟁하는 성능을 달성한다.

ABSTRACT

Catastrophic forgetting/interference is a critical problem for lifelong learning machines, which impedes the agents from maintaining their previously learned knowledge while learning new tasks. Neural networks, in particular, suffer plenty from the catastrophic forgetting phenomenon. Recently there has been several efforts towards overcoming catastrophic forgetting in neural networks. Here, we propose a biologically inspired method toward overcoming catastrophic forgetting. Specifically, we define an attention-based selective plasticity of synapses based on the cholinergic neuromodulatory system in the brain. We define synaptic importance parameters in addition to synaptic weights and then use Hebbian learning in parallel with backpropagation algorithm to learn synaptic importances in an online and seamless manner. We test our proposed method on benchmark tasks including the Permuted MNIST and the Split MNIST problems and show competitive performance compared to the state-of-the-art methods.

연구 동기 및 목표

• 지속적인 학습에서 신경망이 새로운 작업에 노출될 때 이전에 학습한 지식을 덮어쓰는 치명적인 잊음을 해결하기 위해.
• 연속 학습 중 중요한 시냅스를 선택적으로 보호할 수 있는 생물학적으로 타당한 메커니즘을 개발하기 위해.
• 상향식 주의 신호를 헤브시안 학습을 통해 시냅스 가소성과 통합하여 온라인 동적 가중치 보호를 실현하기 위해.
• 기준 벤치마크 작업에서 최신 기술 수준의 연속 학습 방법들과 경쟁 가능한 성능을 입증하기 위해.

제안 방법

• 기존 가중치와 함께 시냅스 중요도 파라미터를 도입하고, 전후 시냅스 중요도 신호에 기반한 헤브시안 학습 규칙을 통해 업데이트한다.
• 예측된 클래스 레이블을 사용하여 상향식 주의 맵을 생성하기 위해 대비형 활성화 백프로파게이션(c-EB) 기법을 활용한다.
• c-EB를 통한 상향식 신호를 이용해 시냅스 중요도를 조절함으로써, 작업 관련 특징을 강조하고 간섭을 억제한다.
• 표준 백프로파게이션과 병행하여 시냅스 중요도를 업데이트함으로써, 추가 학습 단계 없이도 온라인으로 자연스럽게 중요도를 학습할 수 있도록 한다.
• 전후 시냅스 중요도에 기반해 시냅스 중요도를 업데이트하기 위해 오자의 학습 규칙(Oja’s learning rule)을 적용하여 안정성과 생물학적 타당성을 확보한다.
• 아세틸콜린계 신조절 시스템을 주의 기반의 가소성 조절에 생물학적 영감으로 활용한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 얻은 주의 메커니즘이 중요한 시냅스를 선택적으로 보호함으로써 수명 주기 학습 성능을 향상시킬 수 있는가?
• RQ2 주의 기반의 시냅스 중요도 학습은 기존의 정규화 기반 연속 학습 방법과 비교해 어떻게 성능를 보이는가?
• RQ3 헤브시안 학습을 통해 시냅스 중요도를 백프로파게이션과 효과적으로 병행하여 온라인 종단 간(end-to-end) 방식으로 구현할 수 있는가?
• RQ4 제안된 방법은 초모수 조정을 최소화하면서도 새로운 작업을 학습하면서도 이전에 학습한 작업의 높은 성능를 유지할 수 있는가?

주요 결과

• 제안된 방법은 Permuted MNIST 벤치마크에서 EWC 및 시냅스 지능과 경쟁하는 성능를 달성한다.
• Split MNIST 작업에서, 이 방법은 다섯 개의 순차적 숫자 쌍 작업 전반에 걸쳐 높은 정확도를 유지하며, 베이직 네트워크를 능가하고 시냅스 지능과 동등한 성능를 보였다.
• 분포 이탈과 비정적 데이터에 대해 강건성을 보이며, 순차적 학습 환경에서 치명적인 잊음을 효과적으로 완화한다.
• 최소한의 초모수 조정에도 불구하고 경쟁 가능한 결과를 도출함으로써, 주의 기반의 가소성 메커니즘이 뛰어난 일반화 능력과 안정성을 지닌다는 것을 시사한다.
• c-EB를 통해 생성된 주의 맵은 작업 관련 특징을 성공적으로 강조하며, 학습 과정에서 중요한 입력에 집중할 수 있음을 보여준다.