[論文レビュー] Inverse Rational Control with Partially Observable Continuous Nonlinear Dynamics

Minhae Kwon, Saurabh Daptardar+2 more|PubMed|Sep 26, 2020

Reinforcement Learning in Robotics参考文献 64被引用数 16

ひとこと要約

本稿では、連続的で非線形的かつ部分的に観測可能な環境における非最適なエージェントの報酬関数と内部ダイナミクスモデルを同時に推定する、革新的な逆有理的制御（IRC）フレームワークを提案する。深層強化学習を用いてパラメータ化されたモデル族全体にわたるベイズ最適制御アンサンブルを学習し、勾配上昇法により観測された軌道の尤度を最大化することで、限られた行動データから真の内部モデルパラメータを的確に回復した。

ABSTRACT

A fundamental question in neuroscience is how the brain creates an internal model of the world to guide actions using sequences of ambiguous sensory information. This is naturally formulated as a reinforcement learning problem under partial observations, where an agent must estimate relevant latent variables in the world from its evidence, anticipate possible future states, and choose actions that optimize total expected reward. This problem can be solved by control theory, which allows us to find the optimal actions for a given system dynamics and objective function. However, animals often appear to behave suboptimally. Why? We hypothesize that animals have their own flawed internal model of the world, and choose actions with the highest expected subjective reward according to that flawed model. We describe this behavior as <i>rational</i> but not optimal. The problem of Inverse Rational Control (IRC) aims to identify which internal model would best explain an agent's actions. Our contribution here generalizes past work on Inverse Rational Control which solved this problem for discrete control in partially observable Markov decision processes. Here we accommodate continuous nonlinear dynamics and continuous actions, and impute sensory observations corrupted by unknown noise that is private to the animal. We first build an optimal Bayesian agent that learns an optimal policy generalized over the entire model space of dynamics and subjective rewards using deep reinforcement learning. Crucially, this allows us to compute a likelihood over models for experimentally observable action trajectories acquired from a suboptimal agent. We then find the model parameters that maximize the likelihood using gradient ascent. Our method successfully recovers the true model of rational agents. This approach provides a foundation for interpreting the behavioral and neural dynamics of animal brains during complex tasks.

研究の動機と目的

• 既存の逆制御手法が連続的で非線形的かつ部分的に観測可能なシステムにおいて報酬関数とダイナミクスを同時に推定できないというギャップを解消すること。
• 動物行動を「合理的だが最適ではない」—すなわち、誤った内部モデルに従って最適に行動する—ものとしてモデル化すること。これは、絶対的な意味で非最適であるという捉え方とは異なる。
• 観測可能な行動軌道のみから、潜在的な内部モデル（信念や主観的ダイナミクスを含む）をスケーラブルに推定する手法を開発すること。
• 未知の個人的感覚ノイズを伴う連続的状態空間と行動空間への逆制御の拡張を図り、神経科学的データに実用応用可能なようにすること。
• 複雑で自然主義的なタスクにおける神経的・行動的ダイナミクスを解釈する基盤を提供し、内部認知を「心の理論」に類似した推論によって明らかにすること。

提案手法

• パラメータ化されたタスクダイナミクスと主観的報酬関数の全族にわたる一般化を図るため、深層強化学習を用いてベイズ最適制御アンサンブルを学習する。
• エージェントの信念状態を信念MDPとして表現し、制約付き推定器（例：拡張カルマンフィルタ）を用いて信念更新を行うことで、限界合理的性をモデル化する。
• 観測可能な状態-行動軌道の尤度最大化としてIRC問題を定式化し、観測されない感覚的観測を周辺化する。
• 最大尤度推定（MLE）とモンテカルロ期待値最大化（MCEM）を組み合わせたハイブリッド手法を用いてモデルパラメータを最適化する。
• エージェントの推定された内部モデル下での観測軌道の近似対数尤度を勾配上昇法により最大化する。
• タスクダイナミクスと報酬関数を物理ベースのモデルでパrameter化することで、共通する構造的形を有する関連タスク間での一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的で非線形的かつ部分的に観測可能な環境において、非最適なエージェントの報酬関数と内部ダイナミクスモデルを同時に推定できるか？
• RQ2 エージェントの行動を、絶対的非最適性ではなく、自身の誤った内部モデルに従って合理的であるとモデル化できるか？
• RQ3 観測可能な行動と状態軌道のみから、潜在的な内部モデルパラメータ（信念やダイナミクスを含む）を最も効果的に推定する方法は何か？
• RQ4 限られた行動データと未知の個人的感覚ノイズがある状況でも、内部モデルパラメータの正確な回復が可能か？
• RQ5 従来のIRC手法が失敗する高次元的・非線形的・連続的状態空間と行動空間において、本手法はどのようにスケーリングするか？

主な発見

• 提案されたIRCフレームワークは、シミュレートされたエージェントの真の内部モデルパラメータを的確に回復した。すべてのパラメータ次元において、推定値は真値に非常に近い。
• 合成実験では、限られた行動データでもパラメータ回復の精度が高く、真のモデルに収束することが示された。
• 対数尤度のランドスケープ（図4B）は、明確にグローバル最大値への収束を示しており、尤度目的関数の堅牢な最適化が達成されたことを裏付けている。
• 従来のIRLやIOCフレームワークでは実現不可能な、連続的非線形系における報酬とダイナミクスの両方を同時に推定できる点で、本手法は優れた性能を示した。
• ベイズ最適制御アンサンブルの使用により、モデル空間全体にわたる一般化が可能となり、多様なタスクパラメータにおける尤度計算が可能になった。
• 本手法は、個人的感覚ノイズを伴う連続的非線形的かつ部分的に観測可能なシステムにおけるIRC問題を解く初の手法であり、逆制御理論における重要な空白を埋めた。