[論文レビュー] Modeling motor control in continuous-time Active Inference: a survey

Matteo Priorelli, Federico Maggiore+6 more|arXiv (Cornell University)|Oct 8, 2023

Embodied and Extended CognitionNeuroscience被引用数 3

ひとこと要約

本稿は、運動制御のための連続時間形式の能動的推論を提示し、目的指向的到達、能動的センシング、マルチモーダルな衝突の解消、自由エネルギー最小化フレームワークの下での意思決定を統合する。行動を感覚的結果の予測としてモデル化し、生成過程を微分方程式で表現することで、事前に定義されたコスト関数が不要な生物学的に妥当な適応的運動制御を実現する。

ABSTRACT

The way the brain selects and controls actions is still widely debated. Mainstream approaches based on Optimal Control focus on stimulus-response mappings that optimize cost functions. Ideomotor theory and cybernetics propose a different perspective: they suggest that actions are selected and controlled by activating action effects and by continuously matching internal predictions with sensations. Active Inference offers a modern formulation of these ideas, in terms of inferential mechanisms and prediction-error-based control, which can be linked to neural mechanisms of living organisms. This article provides a technical illustration of Active Inference models in continuous time and a brief survey of Active Inference models that solve four kinds of control problems; namely, the control of goal-directed reaching movements, active sensing, the resolution of multisensory conflict during movement and the integration of decision-making and motor control. Crucially, in Active Inference, all these different facets of motor control emerge from the same optimization process - namely, the minimization of Free Energy - and do not require designing separate cost functions. Therefore, Active Inference provides a unitary perspective on various aspects of motor control that can inform both the study of biological control mechanisms and the design of artificial and robotic systems.

研究の動機と目的

• 目的指向的到達、能動的センシング、マルチモーダルな衝突の解消、意思決定といった、運動制御の多様な側面を、一つの計算フレームワークで統合すること。
• 隠れ状態、行動、感覚的予測のダイナミクスを記述する微分方程式を用いて、連続時間における能動的推論を形式化すること。
• 自由エネルギーの最小化によって、すべての運動制御的側面が自然に生じることを示し、手作業で設計されたコスト関数の必要性を排除すること。
• 階層的予測コーディングを深層ニューラルネットワークと結びつけることで、理論的神経科学と実用的実装を橋渡しすること。
• 精度重みの学習や、脳に類似した階層構造における局所的メッセージパッシングの実装といった、主な未解決課題を特定すること。

提案手法

• 確率的微分方程式を用いて、隠れ状態と行動のダイナミクスを記述する連続時間における能動的推論の形式化。
• 生成過程の構造を模倣する生成モデルを構築し、隠れ状態から感覚的観測（例：本体感覚、タッチ）への線形写像を設定。
• 自由エネルギー原理を適用し、変分ベイズ推論によって制御方策を導出し、予測されたと実際の感覚的入力との乖離を最小化する。
• 上位レベルの信念が望ましい状態（セットポイント）を表し、下位レベルが運動的および感覚的予測をエンコードする階層的構造を採用。
• 予測誤差が補正行動を駆動するTOTEに類似した制御ループを採用し、閉ループでフィードバック駆動の制御を実現。
• 能動的センシングを統合し、行動が目的到達に加え、環境状態に関する不確実性を低減するための制御された探索にも使われるようにする。

実験結果

リサーチクエスチョン

• RQ1 能動的推論を連続時間でどのように形式化し、運動制御のダイナミクスをモデル化できるか。
• RQ2 自由エネルギー最小化という同じ最適化プロセスが、到達、能動的センシング、衝突解消といった多様な運動制御問題を統合できるか。
• RQ3 近接する感覚的結果（例：本体感覚）しか予測しない生成モデルが、明示的な表現なしに遠隔的な環境状態（例：物体までの距離）を暗黙的に推定できるか。
• RQ4 実用的な能動的推論実装において、階層的予測コーディングの原則を深層ニューラルネットワークとどのように統合できるか。
• RQ5 現在の実装が、精度制御や脳に類似した階層構造における局所的メッセージパッシングを処理する上で、どのような制限を抱えているか。

主な発見

• 連続時間における能動的推論フレームワークは、意図されたと実際の感覚的結果の予測誤差を最小化することで、目的指向的到達を効果的にモデル化した。
• 能動的センシングは、同じ最適化プロセスから自然に生じる。行動は環境状態に関する不確実性を低減するように選択される。
• マルチモーダルな衝突は、予測誤差の最小化によって解消され、矛盾する感覚的入力を、隠れ状態に関する信念の調整によって調和させる。
• 意思決定と運動制御の統合は、隠れ状態に関する共有の信念更新によって達成され、別個の意思決定モジュールと制御モジュールの必要性がなくなる。
• 近接する感覚的結果（例：ヒゲの動きのフィードバック）しか予測しない生成モデルでも、適応的運動制御を通じて、物体までの距離といった遠隔状態を暗黙的に推定できる。
• 現在の実装では、精度行列が固定されており、局所的メッセージパッシングが回避される傾向があるため、生物学的に妥当なアーキテクチャと深層学習ベースの能動的推論モデルとの間にギャップがあると示唆される。