[論文レビュー] Structure Learning in Motor Control:A Deep Reinforcement Learning Model

Ari Weinstein, Matthew Botvinick|arXiv (Cornell University)|Jun 21, 2017

Motor Control and Adaptation参考文献 19被引用数 8

ひとこと要約

本論文は、視覚運動適応における運動構造学習を説明するために、再帰的ニューラルネットワーク（RNN）を適応的前向きモデルとして用いた深層強化学習モデルを提案する。構造的摂動（回転のみ vs. 複雑な変換）の下で訓練することで、人間の行動データを再現した：以前の訓練に回転のみを用いた場合、60°回転への適応が速くなった。これは、RNNベースの構造学習が運動制御における効率的なメタラーニングを可能にすることを示している。

ABSTRACT

Motor adaptation displays a structure-learning effect: adaptation to a new perturbation occurs more quickly when the subject has prior exposure to perturbations with related structure. Although this `learning-to-learn' effect is well documented, its underlying computational mechanisms are poorly understood. We present a new model of motor structure learning, approaching it from the point of view of deep reinforcement learning. Previous work outside of motor control has shown how recurrent neural networks can account for learning-to-learn effects. We leverage this insight to address motor learning, by importing it into the setting of model-based reinforcement learning. We apply the resulting processing architecture to empirical findings from a landmark study of structure learning in target-directed reaching (Braun et al., 2009), and discuss its implications for a wider range of learning-to-learn phenomena.

研究の動機と目的

• 視覚運動適応に観察される学習の学習（メタラーニング）の背後にある計算的メカニズムを説明すること。
• ベイズ的およびディープラーニング的視点を統合し、再帰的ニューラルネットワークを用いて構造学習をモデル化することで、メタラーニングの枠組みを橋渡しすること。
• Braunら（2009）の実験的発見を説明すること：同じ構造的性質（例：回転）を持つ摂動を以前に経験した場合、適応が速くなること。
• RNNが経験からタスクの背後にある構造を推論できることを示し、構造的に類似した新しいタスクへの適応を高速化できることを実証すること。
• 累積ペナルティ、角度誤差、速度、ゴール領域への最小距離といった指標を用いて、人間の行動データと比較してモデルの性能を検証すること。

提案手法

• 状態、行動、遷移ダイナミクス、報酬関数を備えた有限ホライズンのマーコフ決定過程（MDP）として運動制御を定式化する。
• 過去の行動-結果観測を統合して将来の状態を推定する予測的前向きモデルとして再帰的ニューラルネットワーク（RNN）を採用する。
• RNNを、3秒間のランダムウォークデータの2,000本のシミュレートされた軌道上で、時間軸に沿った誤差逆伝播（backpropagation through time）により訓練する。
• テスト段階ではRNNの重みを固定し、RNNをプランナと結合して、純粋な60°視覚運動回転下での到達軌道を生成する。
• 2つの訓練条件（Rot：回転のみ、Rot+：回転に加えてせん断とスケーリング）の間でモデルの性能を比較する。
• 累積ペナルティ、角度誤差、速度、複数回の到達におけるゴール領域への最小距離といった指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの前向きモデルを有する深層強化学習モデルは、人間の視覚運動適応で観察される構造学習効果を再現できるか？
• RQ2 構造的に整合性のある摂動（例：回転のみ）に事前にさらされた経験が、新しい類似摂動への適応速度と精度にどのように影響するか？
• RQ3 訓練変換セットの複雑さ（Rot 対 Rot+）が、モデルがタスクの背後にある構造を推論し一般化する能力に及ぼす影響はどの程度か？
• RQ4 RNNモデルの内部予測精度が、初期角度誤差やゴール到達率といった行動指標と相関するか？
• RQ5 モデルの軌道のばらつきと収束速度が、Braunら（2009）の実験的ヒトデータと定量的に一致するか？

主な発見

• 訓練中、Rotモデルは1時間歩みあたり0.002 cmの平均予測誤差を達成したが、Rot+モデルの1時間歩みあたり0.03 cmよりも顕著に低かった。
• テスト段階では、Rotモデルが60°回転プローブにより迅速かつ正確に適応し、累積ペナルティが低く、収束が速かった。
• Rotモデルは常に1.6 cmの半径内にゴール領域に到達したが、Rot+モデルは高いばらつきを示し、初期角度誤差が低くても頻繁にゴールに到達できなかった。
• Rotモデルは、特にゴール領域への最小距離という指標において、より低い軌道ばらつきを示し、信頼区間が狭かった。
• Rot+モデルはスケーリング要因約1.3のため、行動の効果を常に低く見積もっており、持続的な予測誤差と計画性能の劣化を引き起こした。
• モデルは人間の行動データを定性的に再現した：Rot条件下では適応が速く、性能が優れていた。これは、訓練における構造的一致性がメタラーニング効率を高めることを確認した。