[論文レビュー] Inverse Optimal Control Adapted to the Noise Characteristics of the Human Sensorimotor System

M. Schultheis, Dominik Straub+1 more|arXiv (Cornell University)|Oct 21, 2021

Gene Regulatory Network Analysis被引用数 7

ひとこと要約

本論文は、制御信号の大きさに応じて変動する信号依存性ノイズを考慮することで、人間の感覚運動行動の背後にあるコスト関数を推定する、画期的な逆最適制御フレームワークを提案する。確率的POMDP定式化とモーメントマッチング近似を用いることで、部分観測下でも観測された軌道から正確にコストパラメータを回復可能であり、ノルマティブ（最適制御）と記述的（行動データ）なモデルを統合する。

ABSTRACT

Computational level explanations based on optimal feedback control with signal-dependent noise have been able to account for a vast array of phenomena in human sensorimotor behavior. However, commonly a cost function needs to be assumed for a task and the optimality of human behavior is evaluated by comparing observed and predicted trajectories. Here, we introduce inverse optimal control with signal-dependent noise, which allows inferring the cost function from observed behavior. To do so, we formalize the problem as a partially observable Markov decision process and distinguish between the agent's and the experimenter's inference problems. Specifically, we derive a probabilistic formulation of the evolution of states and belief states and an approximation to the propagation equation in the linear-quadratic Gaussian problem with signal-dependent noise. We extend the model to the case of partial observability of state variables from the point of view of the experimenter. We show the feasibility of the approach through validation on synthetic data and application to experimental data. Our approach enables recovering the costs and benefits implicit in human sequential sensorimotor behavior, thereby reconciling normative and descriptive approaches in a computational framework.

研究の動機と目的

• 信号依存性ノイズが存在する状況下で、人間の感覚運動制御におけるコスト関数を推定する手法の不足に対処すること。
• 部分観測設定におけるエージェントの内部推論と実験者による推論問題の明確な区別を形式化すること。
• 標準的なLQG仮定を超えて、信号依存性ノイズ下での実用的で計算可能な尤度ベースの逆最適制御手法を開発すること。
• 合成データおよび実験データを用いた手法の妥当性を検証し、状態変数が部分的に観測可能である場合のロバストネスを示すこと。
• 計算的運動制御分野におけるノルマティブ（最適制御）と記述的（行動データ）なアプローチを統合すること。

提案手法

• 信号依存性ノイズを伴う部分観測マルコフ決定過程（POMDP）として前向き問題を定式化し、エージェントおよび実験者の両方の推論をモデル化する。
• 信号依存性ノイズを組み込んだ確率的状態遷移モデルを導出し、非ガウス分布の不確実性をモーメントマッチングにより近似する。
• RMSEに代えて、よりロバストな性能を発揮する対称KLダイバージェンスを用いて、観測軌道とシミュレート軌道の類似度を評価する。
• 最大尤度推定（MLE）を用いて、観測された運動軌道からコスト関数パラメータを推定する。
• モンテカルロロールアウトを用いて、モーメントマッチング近似が実測軌道分布とどの程度一致するかを検証する。
• 状態変数が部分的に観測可能な設定にフレームワークを拡張し、速度および加速度を潜在変数として扱い、不確実性下でのパラメータ回復性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 信号依存性ノイズ—人間の運動変動の主要な特徴—を考慮した逆最適制御は、実現可能か？
• RQ2 状態変数が部分的にしか観測できない状況下で、観測軌道からコスト関数パラメータをどの程度正確に回復できるか？
• RQ3 信号依存性ノイズが存在する状況下で、モーメントマッチング近似が軌道分布推定に与える影響は何か？
• RQ4 部分観測下において、パラメータ推定誤差がシミュレート軌道と観測軌道の類似度に与える影響は？
• RQ5 コスト関数の事前知識が全くない状況下でも、本手法は人間の順次的感覚運動行動の背後にあるコストを信頼性高く推定できるか？

主な発見

• 合成データから、部分観測下でも低RMSEでコスト関数パラメータを回復できた。報酬（r）の中央値RMSEは4.0×10⁻²、速度ペナルティ（v）は1.1×10⁻¹、加速度ペナルティ（f）は2.6×10⁻¹であった。
• パラメータ推定がやや不正確であっても、シミュレート軌道と観測軌道の間の対称KLダイバージェンスは低く（10⁻³のオーダー）維持され、軌道レベルの類似度がロバストであることが示された。
• モーメントマッチング近似は実測軌道分布とよく一致しており（対称KL差：1.60×10⁻³）、追加ノイズを用いたベースライン（KL差：6.05）を著しく上回った。
• 部分観測下では、特に速度および加速度ペナルティのパラメータ推定がやや不正確になる傾向にあり、これは軌道の曖昧さに起因するが、軌道類似度に顕著な悪影響を与えない。
• 1000通りのランダムなパラメータ設定に対して本手法は良好に一般化され、中央値MLE推定値が真値に非常に近い値を示しており、強い統計的整合性が確認された。
• 本フレームワークは、人間の運動行動における暗黙のコストおよび利益を信頼性高く推定可能であり、感覚運動制御におけるノルマティブと記述的モデルを橋渡しする。