[논문 리뷰] Reinforcement Learning in a Neurally Controlled Robot Using Dopamine Modulated STDP

Richard Evans|arXiv (Cornell University)|2015. 02. 21.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 연속적인 환경에서 강화학습 과제를 해결하기 위해 도파민 조절 스파iking 타이밍 의존성 가소성(DA-STDP)을 사용하는 스파iking 신경망(SNN) 컨트롤러를 제안한다. 주된 보상(예: 음식)에서 예측 가능한 보조 자극(예: 음식 용기)으로 도파민 반응을 이동시킴으로써 로봇은 복잡한 행동 시퀀스를 학습하며, 장시간의 시간 지연이 있음에도 불구하고 95퍼센트의 시도에서 음식-용기 유인에 성공한다. 이는 동적인 실생활 유사 환경에서 강력한 보상 할당을 보여준다.

ABSTRACT

Recent work has shown that dopamine-modulated STDP can solve many of the issues associated with reinforcement learning, such as the distal reward problem. Spiking neural networks provide a useful technique in implementing reinforcement learning in an embodied context as they can deal with continuous parameter spaces and as such are better at generalizing the correct behaviour to perform in a given context. In this project we implement a version of DA-modulated STDP in an embodied robot on a food foraging task. Through simulated dopaminergic neurons we show how the robot is able to learn a sequence of behaviours in order to achieve a food reward. In tests the robot was able to learn food-attraction behaviour, and subsequently unlearn this behaviour when the environment changed, in all 50 trials. Moreover we show that the robot is able to operate in an environment whereby the optimal behaviour changes rapidly and so the agent must constantly relearn. In a more complex environment, consisting of food-containers, the robot was able to learn food-container attraction in 95% of trials, despite the large temporal distance between the correct behaviour and the reward. This is achieved by shifting the dopamine response from the primary stimulus (food) to the secondary stimulus (food-container). Our work provides insights into the reasons behind some observed biological phenomena, such as the bursting behaviour observed in dopaminergic neurons. As well as demonstrating how spiking neural network controlled robots are able to solve a range of reinforcement learning tasks.

연구 동기 및 목표

• 스파킹 신경망을 사용하여 생물학적으로 타당한 강화학습 시스템을 로봇 제어에 구현한다.
• 주요 보상에서 보조 예측 자극으로 도파민 반응을 이동시킴으로써 강화학습의 원거리 보상 문제를 해결한다.
• 기존의 강화학습 방법이 어려운 연속적인 파rameter 공간에서 순차적 행동 학습을 보여준다.
• 도파민성 뉴런의 동역학(예: 파동형 발화 대 대기 상태 발화)이 안정적인 학습과 재학습을 어떻게 지원하는지 탐구한다.
• 환경 변화에 빠르게 적응하고 오래된 행동을 해제할 수 있는 능력을 평가한다.

제안 방법

• 로봇은 생물학적 현실성과 계산 효율성을 위해 이즈케비치 뉴런 모델을 사용하는 스파킹 신경망(SNN)으로 제어된다.
• 도파민 조절 STDP는 보상 예측 오차를 반영하는 펄스형 도파민 신호와 전시냅스 스파이크 타이밍을 결합하여 구현된다.
• 두 단계의 도파민 반응을 모델링한다: 대기(타이onic) 발화와 파동형(파동형) 활동으로, 파동형 활동은 보상 예측 오차를 신호로 한다.
• 센서 입력은 뇌에서 관찰된 신경 진동을 시뮬레이션하기 위해 진동형 발화(14 Hz)로 인코딩된다. 이는 시간 코드화를 향상시킨다.
• 승자독점 메커니즘은 센서 및 운동 영역 간의 횡방향 억제를 통해 구현되어 명확한 행동 선택을 보장한다.
• 탐색은 명시적 운동 자극을 통해 유도되며, 향후 연구에서는 이 기능을 펄스 활동과 억제를 통해 SNN 내부에 통합하고자 한다.

실험 결과

연구 질문

• RQ1 SNN 내에서 도파민 조절 STDP가 장시간 지연된 보상에 이르는 행동 시퀀스 학습을 가능하게 할 수 있는가?
• RQ2 원거리 보상 문제를 해결하기 위해 도파민 반응을 주요 자극(음식)에서 보조 예측 자극(음식 용기)으로 어떻게 이동시킬 수 있는가?
• RQ3 환경 조건이 변화할 경우 기존에 습득한 행동을 로봇이 어떻게 해제할 수 있는가?
• RQ4 다른 도파민 활동 모드(대기 대 비대칭 파동형 발화)는 안정적인 학습과 유연성에 어떻게 기여하는가?
• RQ5 SNN 기반 제어는 이산 상태 강화학습 알고리즘보다 연속적이고 실생활 유사 환경에서 더 잘 일반화되는가?

주요 결과

• 로봇은 모든 50회의 시도에서 음식 유인 행동을 성공적으로 학습했으며, 환경이 변화할 경우 이를 해제하여 적응적 재학습을 보였다.
• 복잡한 환경에서 음식 용기를 포함한 로봇은 장시간의 행동-보상 간 지연이 있음에도 불구하고 95퍼센트의 시도에서 음식-용기 유인에 성공했다.
• 도파민 반응은 주요 자극(음식)에서 보조 자극(음식 용기)으로 성공적으로 이동하여 장시간 간격의 보상 할당을 가능케 했다.
• 최적 행동이 급격히 변화하는 역동적인 환경에서도 모델은 빠르게 재학습이 가능한 안정성을 보였다.
• 다른 토닉 및 펄스형 도파민 활동 모드의 사용은 학습의 신뢰성을 향상시켰으며, 도파민성 뉴런의 파동형 발화 행동에 대해 설득력 있는 설명을 제공했다.
• SNN 컨트롤러는 기존 강화학습 알고리즘에서 요구하는 이산화가 필요 없이 연속적인 파라미터 공간에서 직접 학습을 가능케 했다.