[論文レビュー] A Minimal Active Inference Agent

Simon McGregor, Manuel Baltieri+1 more|arXiv (Cornell University)|Mar 13, 2015

Computability, Logic, AI Algorithms参考文献 39被引用数 5

ひとこと要約

本稿では、1次元で離散化された世界において、情報的自由エネルギーを最小化することで知覚と行動を実行する最小限のアクティブインファレンスエージェントを提示する。信念と意図を統一的な「期待」として扱うことで、変分自由エネルギー目的関数に対する勾配降下法により、信念の更新と環境への行動のバランスをとる。知覚と行動が一様な驚きの最小化の原理から生じることを示している。

ABSTRACT

Research on the so-called "free-energy principle'' (FEP) in cognitive neuroscience is becoming increasingly high-profile. To date, introductions to this theory have proved difficult for many readers to follow, but it depends mainly upon two relatively simple ideas: firstly that normative or teleological values can be expressed as probability distributions (active inference), and secondly that approximate Bayesian reasoning can be effectively performed by gradient descent on model parameters (the free-energy principle). The notion of active inference is of great interest for a number of disciplines including cognitive science and artificial intelligence, as well as cognitive neuroscience, and deserves to be more widely known. This paper attempts to provide an accessible introduction to active inference and informational free-energy, for readers from a range of scientific backgrounds. In this work introduce an agent-based model with an agent trying to make predictions about its position in a one-dimensional discretized world using methods from the FEP.

研究の動機と目的

• 認知科学、神経科学、人工知能の分野の研究者に対して、アクティブインファレンスおよび自由エネルギー原理の、エージェントベースでアクセスしやすい紹介を提供すること。
• 単純で離散的な世界のエージェントモデルに根ざさせることで、アクティブインファレンスの形式的枠組みを明確にし、哲学的過剰解釈を避けること。
• 行動と知覚が自由エネルギー最小化の下でどのように統合されるかを示し、信念と意図の間の事前の区別を設けないこと。
• 「驚き」を心理的驚きと同一視することや、理論が検証不能であると主張することなどの一般的な誤解を解消すること。
• エルゴディシティに依存することや、期待の生成のメカニズムが明示されていないことなど、限界を強調すること。

提案手法

• エージェントは有限状態空間を持つ1次元で時刻が離散化された世界で動作し、感覚入力と行動を確率変数としてモデル化する。
• 内部の世界に関する信念を表すために生成モデルを用い、状態の確率分布によってパrameter化される。
• 変分自由エネルギーを勾配降下法で最小化することで、信念の更新（推論）と行動選択（制御）の両方が駆動される。
• 自由エネルギー関数は、近似事後分布と真の事後分布のカルバック・ライブラー発散に基づき導出され、感覚予測誤差とモデルの複雑さの両方を含む。
• 「期待」——信念と意図を統合する概念——を将来の状態の確率的予測として扱い、行動は期待と現実の乖離を解消するものとして位置づけられる。
• 計算的にモデルを実装し、エージェントの行動をシミュレートすることで、知覚と行動が自由エネルギー最小化を通じて共進化することを示している。

実験結果

リサーチクエスチョン

• RQ1 アクティブインファレンスを最小限のエージェントベースの設定で形式化することで、非専門家にとって理論がよりアクセスしやすくなるか。
• RQ2 行動と知覚が事前に区別を設けずに、単一の自由エネルギー最小化原理の下でどれほど統合できるか。
• RQ3 「驚き」を心理的感情ではなく情報的驚きとして解釈することの意味は何か。
• RQ4 エルゴディシティの仮定が、生物学的および人工エージェントにおける自由エネルギー最小化の妥当性に与える影響は何か。
• RQ5 自由エネルギー原理は検証可能と見なせるのか、それともあまりに一般的すぎるため科学的に検証不能なのか。

主な発見

• エージェントは自由エネルギーの最小化によって環境の安定した内部モデルを維持し、明示的な報酬信号なしに一貫した知覚と行動を示した。
• この枠組みは、信念の更新と行動選択を同じ最適化プロセスの下に統合し、両者が期待と感覚入力の乖離を減らすという同じ目的によって駆動されることを示した。
• モデルは、「期待」——信念と意図を統合する概念——を確率的予測として扱うことができ、行動は将来の状態に関する予測の物理的実現であることが明らかになった。
• エルゴディシティの仮定は数学的に便利であるが、現実の感覚的ダイナミクスは時間的エルゴディック性をほとんど持たないため、生物学的系では問題となる。
• この枠組みは、知的な期待がそもそもどのように生成されるかを説明できず、アクティブインファレンスエージェントにおける知能の起源についてのメカニズム的説明の欠落を示唆している。
• 理論の説明的汎用性の高さゆえに、検証不能である可能性があるが、形式的な洗練さにはかかわらず、科学的検証可能性に懸念が生じる。