[論文レビュー] Active Inference or Control as Inference? A Unifying View

Joe Watson, Abraham Imohiosen+1 more|arXiv (Cornell University)|Oct 1, 2020

Neural dynamics and brain function参考文献 25被引用数 4

ひとこと要約

本稿は、制御の推論（CaI）と能動的推論（AI）を統合し、AIを部分的に観測可能なCaI問題として定式化することで、制御目的を確率的観測として扱う。AIの自由エネルギー最小化が変分推論による最適制御と等価であることを示し、近似推論を通じて原理的でスケーラブルかつ不確実性を考慮したセンサーモータ制御を実現する。

ABSTRACT

Active inference (AI) is a persuasive theoretical framework from computational neuroscience that seeks to describe action and perception as inference-based computation. However, this framework has yet to provide practical sensorimotor control algorithms that are competitive with alternative approaches. In this work, we frame active inference through the lens of control as inference (CaI), a body of work that presents trajectory optimization as inference. From the wider view of `probabilistic numerics', CaI offers principled, numerically robust optimal control solvers that provide uncertainty quantification, and can scale to nonlinear problems with approximate inference. We show that AI may be framed as partially-observed CaI when the cost function is defined specifically in the observation states.

研究の動機と目的

• 能動的推論の理論的・アルゴリズム的不透明性を解消し、制御の推論（CaI）の観点から再解釈すること。
• AIの洞察を保持しつつ、実装可能な計算的実行可能性と理論的根拠を持つセンサーモータ制御のフレームワークを提供すること。
• 変分推論と自由エネルギー最小化を用いて、状態推定と制御を1つの確率的推論フレームワークに統合すること。
• 能動的推論が、原理的推論と不確実性の定量化を伴う部分的に観測可能な最適制御問題として再定式化可能であることを示すこと。
• CaIの堅牢な数値的基盤に立脚し、逐次モンテカルロ法や変分推論などの近似推論手法を用いて、スケーラブルかつ非線形の制御を実現すること。

提案手法

• 制御目的を確率的観測モデルとして符号化することで、能動的推論を部分的に観測可能な制御の推論（CaI）問題として再定式化する。
• 真の後確率分布と変分近似との間のカルバック・ライバラー距離を最小化するための変分推論を用い、周辺尤度の下界（ELBO）を導出する。
• 自由エネルギー目的関数を、過去の時刻における状態推定と、将来の時刻における最適制御の2つの項の和として表現し、時刻依存の観測モデルを用いる。
• 計画ホライズン τ で、測定の整合性（推定）から費用に基づく尤度（制御）へ切り替わる時変観測モデルを導入する。
• 非線形・非ガウス分布のシステムに対応するため、逐次モンテカルロ法やガウス近似などの近似推論技術を適用する。
• 過去の状態推定と将来の制御を1つの変分自由エネルギー最小化で統合する統一された目的関数（式15）を導出する。

実験結果

リサーチクエスチョン

• RQ1 能動的推論を形式的に制御の推論（CaI）問題として再解釈することで、計算上の明確性と実装可能性を向上させることができるか？
• RQ2 能動的推論における自由エネルギー原理が、不確実性の定量化を伴う原理的最適制御定式化にどのようにマッピング可能か？
• RQ3 観測モデルは、1つの確率的推論フレームワーク内で状態推定と制御を統合する役割を果たすか？
• RQ4 時刻依存の観測モデルは、統一フレームワーク内で状態推定から軌道最適化への滑らかな移行をどのように可能にするか？
• RQ5 提案された統合フレームワークは、近似推論を用いてスケーラブルかつ非線形の制御を実現しつつ、理論的厳密性を保持できるか？

主な発見

• 能動的推論は、制御目的が確率的観測モデルとして符号化された部分的に観測可能な制御の推論問題として正式に等価である。
• 提案されたフレームワークは、計画ホライズン τ で測定の整合性から費用に基づく尤度へ切り替わる時刻依存の観測モデルを用いて、状態推定と制御を1つの変分自由エネルギー目的関数に統合する。
• 線形ガウスの場合、最適線形二次調節器（LQR）の解が回復され、古典的制御理論と整合していることが示された。
• 原理的ベイズ推論による不確実性の定量化とロバスト性が可能であり、近似推論手法を用いることで非線形システムへのスケーラビリティが達成される。
• 任意のポリシークラスに対する直接的なポリシー探索よりも、$ q_{\bm{\theta}}({\bm{x}}_t, {\bm{u}}_t) $ を通じた状態と制御の同時推論が、より情報に基づいたポリシーを提供する。
• 確率的数値計算と堅牢な最適化に立脚するため、特に非線形かつ高次元の設定において、標準的な能動的推論よりも計算の明確性と実装可能性に優れている。