[논문 리뷰] Stimulating STDP to Exploit Locality for Lifelong Learning without Catastrophic Forgetting.

Jason M. Allred, Kaushik Roy|arXiv (Cornell University)|2019. 02. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 5

한 줄 요약

이 논문은 생체 모방적 도파민 자극을 활용한 스파iking 신경망(SNN) 프레임워크를 제안하여, 비정상적 또는 이질적인 정보를 처리하는 뉴런들만 선택적으로 업데이트함으로써 생애 주기 학습 중 치명적인 잊음(catastrophic forgetting)을 방지한다. 이중 분할된 MNIST 데이터셋을 순차적으로 학습할 경우 최대 93.88%의 정확도를 달성하여, 통제되지 않은 동적 환경에서도 뛰어난 안정성을 보여준다.

ABSTRACT

Stochastic gradient descent requires that training samples be drawn from a uniformly random distribution of the data. For a deployed system that must learn online from an uncontrolled and unknown environment, the ordering of input samples often fails to meet this criterion, making lifelong learning a difficult challenge. We exploit the locality of the unsupervised Spike Timing Dependent Plasticity (STDP) learning rule to target subsets of a segmented Spiking Neural Network (SNN) to adapt to novel information while protecting the information in the remainder of the SNN from catastrophic forgetting. In our system, novel information triggers stimulated firing, inspired by biological dopamine signals, to boost STDP in the synapses of neurons associated with outlier information. This targeting controls the forgetting process in a way that reduces accuracy degradation while learning new information. Our preliminary results on the MNIST dataset validate the capability of such a system to learn successfully over time from an unknown, changing environment, achieving up to 93.88% accuracy for a completely disjoint dataset.

연구 동기 및 목표

• 통제되지 않은 비정상적인 환경에서 작동하는 생애 주기 학습 시스템에서 치명적인 잊음을 해결하는 데 초점 맞추기.
• 일반적으로 실제 온라인 학습 환경에서 위반되는 균일한 무작위 데이터 순서가 필요한 확률적 경사 하강법의 한계를 극복하기.
• STDP의 국소성(locality)을 활용하여 신규 또는 이질적 입력을 처리하는 신경망 하위 네트워크들만 선택적으로 업데이트하기.
• 새로운 정보에 적응하면서도 이전에 학습한 작업의 정확도 저하를 최소화하기.
• 재학습이나 데이터 분포에 대한 사전 지식 없이도 구현된 시스템에서 안정적이고 점진적인 학습을 가능하게 하기.

제안 방법

• 학습을 국소화하고 기억 영역을 격리하기 위해 스파이크 신경망을 하위 네트워크로 분할하기.
• 사전 및 사후 신호 발생 시간에 따라 시냅스 강도를 강화하는 핵심 비지도 학습 규칙으로 스파이크 시기 의존성 가소성(STDP)를 사용하기.
• 신규 또는 이질적 입력을 처리하는 뉴런에서만 활성화되는 도파민 유사 자극 신호를 도입하여 STDP 활동을 강화하기.
• 신규 정보와 관련된 특정 시냅스에 자극을 선택적으로 적용함으로써 가소성을 집중시키고 기존 지식에 대한 간섭을 최소화하기.
• 스파iking 활동 패tern을 통해 이질적 입력을 동적으로 식별하고, 이러한 입력이 감지될 경우에만 자극을 활성화하기.
• 특정 맥락에 관련된 하위 네트워크에만 가소성을 제한함으로써 이전에 학습된 표현의 무결성을 유지하기.

실험 결과

연구 질문

• RQ1 STDP 기반 가소성이 새로운 또는 이질적 입력에 대해 선택적으로 강화될 수 있는가? 이는 치명적인 잊음을 줄이는 데 효과적인가?
• RQ2 도파민 유사 자극은 점진적 학습 중에 학습된 표현의 안정성을 어떻게 향상시키는가?
• RQ3 스파이킹 신경망이 성능 저하 없이 분리된 데이터셋의 시퀀스를 학습할 수 있는 정도는 어느 정도인가?
• RQ4 입력의 신선도에 기반해 특정 하위 네트워크에 가소성을 타겟팅하면 학습 효율성과 정확도 유지에 기여하는가?
• RQ5 균일한 무작위 데이터 순서가 필요 없는 온라인 비정상적 환경에서도 이 접근법이 효과적으로 기능하는가?

주요 결과

• 시스템은 치명적인 잊음을 겪지 않고 분리된 MNIST 데이터셋의 시퀀스를 성공적으로 학습한다.
• 제안된 방법은 최종 데이터셋에서 최대 93.88%의 테스트 정확도를 달성하여 이전 지식의 강력한 유지 능력을 보여준다.
• 신규 입력에 대한 반응으로 STDP의 선택적 자극이 이전에 학습된 표현에 대한 간섭을 효과적으로 줄인다.
• 도파민 유사 신호의 사용은 목표 지정된 가소성을 가능하게 하여 네트워크 전반의 통제되지 않은 가중치 업데이트를 최소화한다.
• 데이터 분포가 완전히 분리된 상황에서도 여러 학습 단계 동안 높은 성능을 유지한다.
• 시스템은 표준 SGD의 i.i.d. 가정을 위반하는 통제되지 않은 동적 환경에서도 뛰어난 안정성을 보여준다.