[논문 리뷰] Re-purposing Compact Neuronal Circuit Policies to Govern Reinforcement Learning Tasks.

Ramin Hasani, Mathias Lechner외 3명|arXiv (Cornell University)|2018. 09. 11.

Neural dynamics and brain function참고 문헌 30인용 수 5

한 줄 요약

이 논문은 액체 시간 상수와 해석 가능한 동역학을 사용하여 강화 학습 작업을 지배하는 *C. elegans*를 영감으로 삼은 새로운 순환 신경망인 신경 회로 정책(Neural Circuit Policies, NCPs)을 소개한다. NCPs가 유한 시간 동역역학계를 근사할 수 있음을 보여주며, 시뮬레이션 및 실제 세계 작업—자율 우주 탐사 차량 주차를 포함—에서 딥 러닝 기반 정책과 유사한 성능을 달성함과 동시에, 검색 기반 강화 학습을 통해 재사용된 생물학적 회로 모델을 통해 세포 수준의 해석 가능성을 제공한다.

ABSTRACT

We propose an effective method for creating interpretable control agents, by extit{re-purposing} the function of a biological neural circuit model, to govern simulated and real world reinforcement learning (RL) test-beds. Inspired by the structure of the nervous system of the soil-worm, \emph{C. elegans}, we introduce \emph{Neuronal Circuit Policies} (NCPs) as a novel recurrent neural network instance with liquid time-constants, universal approximation capabilities and interpretable dynamics. We theoretically show that they can approximate any finite simulation time of a given continuous n-dimensional dynamical system, with $n$ output units and some hidden units. We model instances of the policies and learn their synaptic and neuronal parameters to control standard RL tasks and demonstrate its application for autonomous parking of a real rover robot on a pre-defined trajectory. For reconfiguration of the \emph{purpose} of the neural circuit, we adopt a search-based RL algorithm. We show that our neuronal circuit policies perform as good as deep neural network policies with the advantage of realizing interpretable dynamics at the cell-level. We theoretically find bounds for the time-varying dynamics of the circuits, and introduce a novel way to reason about networks' dynamics.

연구 동기 및 목표

• 생물학적 신경 회로 모델을 재사용하여 강화 학습을 위한 해석 가능한 제어 에이전트를 개발하기 위해.
• 딥 뉴럴 네트워크 정책에서의 해석 가능성 부족 문제를 해결하면서도 강화 학습 과제에서 경쟁 가능한 성능를 유지하기 위해.
• 해석 가능한 정책의 실세계 적용을 가능하게 하기 위해, 실제 우주 탐사 차량 로봇을 통해 이를 입증하기 위해.
• 액체 시간 상수를 갖는 순환 신경망에서 시간에 따라 변하는 동역학에 대한 이론적 경계를 설정하기 위해.
• 생물학적으로 타당한 회로 구조를 통해 네트워크 동역학에 대한 새로운 프레임워크를 제공하기 위해.

제안 방법

• 액체 시간 상수를 갖춘 순환 신경망의 변종으로서 동적이고 시간에 따라 변하는 반응을 가능하게 하는 신경 회로 정책(NCPs) 설계하기.
• *C. elegans* 신경계의 구조적 및 기능적 조직을 NCP 아키텍처의 블루프린트로 활용하기.
• NCPs가 n개의 출력 단위를 갖는 연속적인 n차원 동역학계의 유한 시간 시뮬레이션을 보편적으로 근사할 수 있음을 이론적으로 증명하기.
• 시냅스 및 신경세포 파라미터를 조정함으로써 신경 회로의 목적을 재구성하기 위해 검색 기반 강화 학습 알고리즘 사용하기.
• 시간에 따라 변하는 상태 진화를 기반으로 하여 회로 수준의 해석 가능성을 바탕으로 네트워크 동역학에 대한 새로운 방법 제안하기.
• 표준 강화 학습 벤치마크에서 NCPs를 훈련하고, 실세계의 우주 탐사 차량에 적용하여 정의된 궤도를 따라 자율 주차를 수행하기.

실험 결과

연구 질문

• RQ1 해석 가능한 동역학을 갖는 생물학적 영감을 받은 순환 네트워크가 보편 근사 성질을 갖는 한 유한 시간 동역학계를 근사할 수 있는가?
• RQ2 표준 강화 학습 벤치마크에서 신경 회로 정책(NCPs)이 딥 뉴럴 네트워크 정책에 비해 얼마나 잘 성능을 내는가?
• RQ3 동일한 신경 회로 모델이 강화 학습을 통해 시냅스 및 신경세포 파라미터 재구성으로 인해 다양한 제어 과제에 재사용 가능한가?
• RQ4 액체 시간 상수를 갖는 네트워크에서 시간에 따라 변하는 동역학에 대해 유도할 수 있는 이론적 경계는 무엇인가?
• RQ5 실세계 로봇 제어 과제에서 성능을 희생시키지 않고 세포 수준의 해석 가능한 동역학을 달성할 수 있는가?

주요 결과

• 신경 회로 정책(NCPs)는 n개의 출력 단위와 일부 은닉 단위를 갖는 연속적인 n차원 동역학계의 유한 시간 시뮬레이션을 보편적으로 근사할 수 있다.
• NCPs는 연속 제어 벤치마크를 포함한 표준 강화 학습 과제에서 딥 뉴럴 네트워크 정책과 유사한 성능를 달성한다.
• NCP 프레임워크는 실세계 적용이 가능하며, 정의된 궤도를 따라 자율 주차를 성공적으로 수행한 실제 우주 탐사 차량 로봇을 통해 이를 입증하였다.
• 이론적 분석을 통해 회로의 시간에 따라 변하는 동역학에 대한 경계를 설정하였으며, 이는 그들의 행동에 대한 이해 기반을 제공한다.
• 시냅스 및 신경세포 파라미터를 효과적으로 조정하는 검색 기반 강화 학습 알고리즘을 통해 회로의 목적 재구성이 달성되었다.
• NCPs는 표준 딥 러닝 기반 강화 학습 정책과 달리, 개별 신경세포 기여도를 이해할 수 있도록 세포 수준의 해석 가능한 동역학을 제공한다.