[논문 리뷰] Continual Reinforcement Learning with Complex Synapses

Christos Kaplanis, Murray Shanahan외 1명|arXiv (Cornell University)|2018. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 22

한 줄 요약

이 논문은 다중 시간스케일에서의 치명적 망각을 완화함으로써 지속적 강화학습을 가능하게 하는 생물학적으로 영감을 받은 시냅스 모델을 제안한다. 각 네트워크 파라미터를 동적 변수의 사슬으로 표현함으로써, 경험 재생에 의존도를 줄이고 다양한 시간스케일에서 안정적인 학습을 가능하게 한다. 상호작용하는 변수를 통해 시냅스 기억의 거듭제곱 법칙 감쇠를 근사함으로써, 이 모델은 경험 재생에 대한 의존도를 감소시키고, 과거의 경험을 유지함으로써 임의의 태스크 경계나 데이터 분포 변화에 대한 사전 지식 없이도 안정적인 학습을 가능하게 한다.

ABSTRACT

Unlike humans, who are capable of continual learning over their lifetimes, artificial neural networks have long been known to suffer from a phenomenon known as catastrophic forgetting, whereby new learning can lead to abrupt erasure of previously acquired knowledge. Whereas in a neural network the parameters are typically modelled as scalar values, an individual synapse in the brain comprises a complex network of interacting biochemical components that evolve at different timescales. In this paper, we show that by equipping tabular and deep reinforcement learning agents with a synaptic model that incorporates this biological complexity (Benna & Fusi, 2016), catastrophic forgetting can be mitigated at multiple timescales. In particular, we find that as well as enabling continual learning across sequential training of two simple tasks, it can also be used to overcome within-task forgetting by reducing the need for an experience replay database.

연구 동기 및 목표

• 인공 신경망에서 주요한 제약 요소인 지속적 강화학습에서의 치명적 망각 문제를 해결하기 위해.
• 생물학적으로 타당한 시냅스 동역학—특히 다중 시간스케일 가소성—이 강화학습 에이전트의 안정적인 평생 학습을 가능하게 할 수 있는지 탐색하기 위해.
• Benna-Fusi 시냅스 모델이 경험 재생이 필요 없도록 하는 데 성공할 수 있는지 테스트하기 위해.
• 모델이 태스크 경계나 데이터 분포 변화에 대한 사전 지식 없이도 상호태스크 및 내부태스크 지속적 학습을 지원할 수 있는지 평가하기 위해.

제안 방법

• 시냅스 모델은 Benna & Fusi (2016)의 영감을 받아 시냅스 기억의 거듭제곱 법칙 감쇠를 근사하기 위해 유한한 N개의 동적 변수 (u_k) 사슬을 사용한다.
• 각 변수 u_k는 유체가 연결된 비커를 통과하는 흐름을 모델링하는 미분방정식에 따라 진화하며, 결합 강도 (g)와 용량 (C)이 기억 감쇠의 시간스케일을 결정한다.
• 시냅스 가중치 w는 첫 번째 변수 (u_1)에서 읽히며, 전체 사슬은 다중 시간스케일에서의 가중치 역사 정보를 인코딩함으로써 가중치를 정규화한다.
• 이 모델은 표본화된 태스크와 딥 Q-네트워크 에이전트에 통합되어 스칼라 파라미터를 이 동적 시냅스 표현으로 대체한다.
• 시스템은 명시적 중요도 가중치나 태스크 경계 없이도, 시냅스 사슬의 내재된 시간스케일 동역학에 의존하여 학습한다.
• 이 방법은 경험 재생 유무를 비교하여 순차적인 표본화된 태스크와 딥 강화학습 태스크에서 평가된다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 받은 다중 시간스케일 동역학을 가진 시냅스 모델이 지속적 강화학습에서 치명적 망각을 완화시킬 수 있는가?
• RQ2 이 모델이 딥 강화학습에서 경험 재생이 필요 없도록 하는 데 얼마나 효과적인가?
• RQ3 모델이 태스크 경계에 대한 사전 지식 없이도 상호태스크 및 내부태스크 시나리오에서 안정적인 학습을 지원할 수 있는가?
• RQ4 시냅스 사슬의 은닉 변수 수에 따라 모델의 성능가 어떻게 스케일링되는가?
• RQ5 도파민과 같은 신경조절 신호를 통합함으로써 모델의 기억 동역학을 추가로 향상시킬 수 있는가?

주요 결과

• Benna-Fusi 시냅스 모델은 순차적 태스크에서 표본화된 강화학습과 딥 강화학습 에이전트에서 치명적 망각을 성공적으로 완화시켰다.
• 모델은 경험 재생에 의존하지 않고도 안정적인 지속적 학습을 가능하게 하여 메모리 요구량을 크게 감소시켰다.
• 모델은 다중 시간스케일 동역학을 통해 과거 경험을 유지함으로써 내부태스크 망각을 줄였으며, 학습 중 데이터 분포 변화가 발생하더라도 효과적으로 작용했다.
• 다양한 태스크 순서에서 성능이 우수하여, 모델이 태스크 경계나 데이터 분포 변화에 대한 사전 지식이 필요하지 않다는 것을 시사한다.
• Arcade Learning Environment에서 더 큰 DQN 에이전트를 대상으로 한 초도 실험 결과, 제어군 대비 성능이 떨어져 확장성에 한계가 있음을 시사하며, 향후 연구가 필요하다.
• 모델의 기억 동역학은 본질적으로 다중 시간스케일이며, Adam이나 소프트 타겟 업데이트와 같은 지수 감쇠 모델보다 더 긴 기억 수명을 가진다.