[논문 리뷰] Deep neuroethology of a virtual rodent

Josh Merel, Diego Aldarondo외 4명|arXiv (Cornell University)|2019. 11. 21.

Neural dynamics and brain function참고 문헌 50인용 수 10

한 줄 요약

이 논문은 MuJoCo에서 구축한 가상의 쥐 플랫폼을 통해 심층 강화학습을 사용하여 몸에 박히는 운동 제어를 연구하며, 인공 신경망의 신경행태학적 분석을 가능하게 한다. 분석 결과, 모델은 작업에 특화된 행동 전략과 작업에 관계없이 일정한 운동역학을 갖는 두 가지 다른 신경 표현 방식을 사용하며, 정책 네트워크 내에서 순차적 동역학과 회전하는 인구 집단 활동을 통해 조직화되고 있으며, 생물학적 운동 시스템에서 관찰되는 원칙을 반영한다.

ABSTRACT

Parallel developments in neuroscience and deep learning have led to mutually productive exchanges, pushing our understanding of real and artificial neural networks in sensory and cognitive systems. However, this interaction between fields is less developed in the study of motor control. In this work, we develop a virtual rodent as a platform for the grounded study of motor activity in artificial models of embodied control. We then use this platform to study motor activity across contexts by training a model to solve four complex tasks. Using methods familiar to neuroscientists, we describe the behavioral representations and algorithms employed by different layers of the network using a neuroethological approach to characterize motor activity relative to the rodent's behavior and goals. We find that the model uses two classes of representations which respectively encode the task-specific behavioral strategies and task-invariant behavioral kinematics. These representations are reflected in the sequential activity and population dynamics of neural subpopulations. Overall, the virtual rodent facilitates grounded collaborations between deep reinforcement learning and motor neuroscience.

연구 동기 및 목표

• 심층 강화학습을 사용하여 인공 신경망에서 운동 제어를 연구하기 위한 현실적이고 몸에 박힌 가상의 쥐 플랫폼을 개발한다.
• 기반화된, 이론에 기반한 분석을 가능하게 하여 심층 강화학습과 운동 신경과학을 연결한다.
• 인공 네트워크의 신경 표현과 동역학이 어떻게 다재다능하고 맥락에 따라 달라지는 운동 행동을 지원하는지 조사한다.
• 신경과학적 분석 도구가 실제로 기반화된 환경에서 인공 제어 시스템의 功能적 조직을 성공적으로 복호화하고 해석할 수 있는지 평가한다.
• 공통의 물리적 기반 환경에서 인공과 생물학적 신경 제어 메커니즘을 비교할 수 있는 시험 플랫폼을 제공한다.

제안 방법

• 해부학적으로 정확한 신체, 감각 입력(자기 중심 시각, 본체 감각), 운동 액추에이터를 갖춘 물리 기반의 가상 쥐를 MuJoCo에 구축하였다.
• 복잡하고 다양한 4개의 작업을 동시에 수행하기 위해 액터-크리틱 프레임워크를 사용하여 심층 강화학습 에이전트를 훈련시켰다.
• 신경과학적 분석 기법—표현 유사도 분석(RSA), 신경 동역학 분석, 인구 벡터 복호화—를 적용하여 네트워크 내 신경 표현을 분석하였다.
• 핵심(가치) 및 정책(행동) 네트워크 레이어의 신경 활동을 행동 특징, 자세, 운동 명령과 매핑하였다.
• 회전 동역학 분석을 사용하여 서로 다른 행동과 시간스케일에 관련된 고유한 신경 상태 궤적을 식별하였다.
• 생물학적 운동 제어의 알려진 원칙(예: 순차적 활동, 계층적 제어)과 비교하여 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 몸에 박힌 에이전트의 인공 신경망에서 다양한 작업 간에 다양한 운동 행동을 어떻게 표현하고 생성하는가?
• RQ2 심층 강화학습에 의해 훈련된 복잡한 운동 작업에서 어떤 유형의 신경 표현(예: 작업에 특화된 vs. 일정한)이 나타나는가?
• RQ3 인공 네트워크의 신경 집단 동역학은 행동의 시간적 구조(예: 행동의 순서)를 어떻게 반영하는가?
• RQ4 신경과학적 분석 도구가 기반화된 환경에서 인공 신경망의 기능적 조직을 어느 정도 복호화하고 해석할 수 있는가?
• RQ5 복잡한 작업에 훈련된 인공 에이전트가 생물학적 운동 시스템에서 관찰되는 것과 유사한 신경 동역학을 나타내는가?

주요 결과

• 네트워크는 두 가지 다른 유형의 신경 표현을 개발하였다: 핵심 네트워크에서의 작업에 특화된 행동 전략과 정책 네트워크에서의 작업에 관계없는 운동역학.
• 정책 네트워크의 표현은 작업 간에 더 일관되며, 다양한 목표를 위해 공유되는 운동 패tern의 재사용을 나타낸다.
• 정책 레이어의 신경 활동은 시간을 균일하게 타일링하여 뛰기, 점프, 진동과 같은 표준화된 행동을 순차적 패턴으로 조직화한다.
• 다른 행동은 서로 다른 시간스케일에서 신경 활동 공간에서의 고유한 회전 동역학과 관련되어 있다.
• 핵심 및 정책 레이어 양쪽의 표현은 짧은 시간 스케일의 운동 명령보다 행동 및 자세 특징과 더 유사하며, 행동 선택에 기여하는 역할을 한다고 지지한다.
• 핵심이 정책 기반의 순서를 조절하는 계층적 조직—이것은 생물학적 운동 제어에서 제안된 원칙과 유사하다.