[論文レビュー] Deep neuroethology of a virtual rodent

Josh Merel, Diego Aldarondo+4 more|arXiv (Cornell University)|Nov 21, 2019

Neural dynamics and brain function参考文献 50被引用数 10

ひとこと要約

本論文は、MuJoCoで構築された仮想ラットプラットフォームを紹介し、深層強化学習を用いた身体的埋め込み型運動制御の研究を可能にし、人工ニューラルネットワークの神経行動学的分析を実現する。その結果、モデルはタスク固有の行動戦略とタスクに依存しない運動学的特性という2つの異なる神経表現を、ポリシー・ネットワーク内の逐次的ダイナミクスと回転運動の集団活動を通じて組織化しており、生物学的運動システムで観察される原理と類似していることが明らかになった。

ABSTRACT

Parallel developments in neuroscience and deep learning have led to mutually productive exchanges, pushing our understanding of real and artificial neural networks in sensory and cognitive systems. However, this interaction between fields is less developed in the study of motor control. In this work, we develop a virtual rodent as a platform for the grounded study of motor activity in artificial models of embodied control. We then use this platform to study motor activity across contexts by training a model to solve four complex tasks. Using methods familiar to neuroscientists, we describe the behavioral representations and algorithms employed by different layers of the network using a neuroethological approach to characterize motor activity relative to the rodent's behavior and goals. We find that the model uses two classes of representations which respectively encode the task-specific behavioral strategies and task-invariant behavioral kinematics. These representations are reflected in the sequential activity and population dynamics of neural subpopulations. Overall, the virtual rodent facilitates grounded collaborations between deep reinforcement learning and motor neuroscience.

研究の動機と目的

• 人工ニューラルネットワークにおける運動制御の研究を可能にする、現実的で身体的埋め込み型の仮想ラットプラットフォームの開発。
• 身体的埋め込み型の理論的根拠に基づく分析を可能にするために、深層強化学習と運動神経科学を橋渡しすること。
• 人工ネットワーク内の神経表現とダイナミクスが、柔軟で文脈依存の運動行動をどのようにサポートするかを調査すること。
• 神経科学的分析ツールが、物理的に根拠を持つ設定において人工制御システムの機能的組織を効果的に解釈できるかどうかを評価すること。
• 共通の物理的基盤を持つ環境で、人工的および生物学的神経制御メカニズムを比較するためのテストベッドを提供すること。

提案手法

• 解剖学的に正確な身体、センサー入力（自己中心視覚、本体感覚）、および運動アクチュエータを備えた物理ベースの仮想ラットをMuJoCoに構築した。
• 4つの複雑で多様なタスク（協調的運動を要する）を解消するため、アクター・クリティックフレームワークを用いて深層強化学習エージェントを訓練した。
• 神経科学的分析技術（代表的類似性分析（RSA）、神経ダイナミクス分析、集団ベクトル復元）を適用し、ネットワーク内の神経表現を検証した。
• コア（価値）およびポリシー（行動）ネットワーク層内の神経活動を、行動特徴、姿勢、および運動指令にマッピングした。
• 回転ダイナミクス分析を用いて、異なる行動および時間スケールに関連する明確な神経状態軌道を同定した。
• 生物学的運動制御の既知の原則（逐次的活動、階層的制御など）と照合することで、発見を妥当性検証した。

実験結果

リサーチクエスチョン

• RQ1 身体的エージェントにおける人工ニューラルネットワークは、異なるタスクにおいて多様な運動行動をどのように表現・生成するか？
• RQ2 複雑な運動タスクに訓練された深層強化学習エージェントにおいて、どのような神経表現（例：タスク固有 vs. 不変）が出現するか？
• RQ3 人工ネットワーク内の神経集団ダイナミクスは、行動の時間的構造（例：行動の系列）をどのように反映するか？
• RQ4 神経科学的分析ツールは、物理的に根拠を持つ設定において人工ニューラルネットワークの機能的組織をどの程度効果的に解釈できるか？
• RQ5 複雑なタスクに訓練された人工エージェントは、生物学的運動システムで観察される神経ダイナミクスに類似したものを示せるか？

主な発見

• ネットワークは2つの明確な神経表現のクラスを発達させた：コアネットワーク内のタスク固有の行動戦略と、ポリシー・ネットワーク内のタスクに依存しない運動学的特性。
• ポリシー・ネットワーク内の表現はタスク間でより一貫しており、異なる目的に共通の運動パターンの再利用がなされていることが示された。
• ポリシー層内の神経活動は時間軸を均等にタイル化し、走行、ジャンプ、チックといったステレオタイプな行動を逐次的パターンに組織化していた。
• 異なる行動は神経活動空間内での異なる回転ダイナミクスに関連しており、それぞれ異なる時間スケールで進化していた。
• コア層およびポリシー層の両方の表現は、短時間スケールの運動指令よりも行動および姿勢の特徴により類似しており、行動選択における役割が支持された。
• コアがポリシー駆動の系列を調整するという神経ダイナミクスの階層的組織は、生物学的運動制御に提案されている原則と類似している。