[論文レビュー] How Morphological Computation shapes Integrated Information in Embodied Agents

Carlotta Langer, Nihat Ay|arXiv (Cornell University)|Aug 2, 2021

Neural dynamics and brain function参考文献 34被引用数 5

ひとこと要約

本論文は、身体的エージェントにおける形態的計算が、そのコントローラーにおける統合情報の必要性をどのように軽減するかを定量化するフレームワークを提案する。『計画を推論として扱う』アプローチと情報幾何を用いて、体と環境との相互作用（形態的計算）が増加するにつれ、脳レベルの情報統合が逆に減少することを示し、エージェントの行動や体現的AIにおける意識の理解に不可欠な対立的関係を明らかにする。

ABSTRACT

The Integrated Information Theory provides a quantitative approach to consciousness and can be applied to neural networks. An embodied agent controlled by such a network influences and is being influenced by its environment. This involves, on the one hand, morphological computation within goal directed action and, on the other hand, integrated information within the controller, the agent's brain. In this article, we combine different methods in order to examine the information flows among and within the body, the brain and the environment of an agent. This allows us to relate various information flows to each other. We test this framework in a simple experimental setup. There, we calculate the optimal policy for goal-directed behavior based on the "planning as inference" method, in which the information-geometric em-algorithm is used to optimize the likelihood of the goal. Morphological computation and integrated information are then calculated with respect to the optimal policies. Comparing the dynamics of these measures under changing morphological circumstances highlights the antagonistic relationship between these two concepts. The more morphological computation is involved, the less information integration within the brain is required. In order to determine the influence of the brain on the behavior of the agent it is necessary to additionally measure the information flow to and from the brain.

研究の動機と目的

• 体現的エージェントにおいて、タスク解決の複雑さが脳、身体、環境のどの部分にどのように分散されているかを理解すること。
• 形態的計算（身体と環境の相互作用）と統合情報（脳レベルの処理）の間の相互作用を定量化すること。
• 形態的計算がコントローラーにおける情報統合の必要性を、どのように低減するかを、その有無と仕組みを調査すること。
• 人工エージェントのセンサモータリソープを分析するための統一的な情報理論的フレームワークを構築すること。
• 統合情報のみではコントローラーの役割を十分に評価できないこと——脳への情報の流入と流出も同時に測定する必要があることの実証。

提案手法

• 世界（W）、コントローラー（C）、センサ（S）、アクチュエータ（A）を含む確率的グラフィカルモデルを用いて、エージェントのセンサモータリソープをモデル化する。
• 行動を潜在変数として扱い、目的の尤度を最大化するための最適方策を導出するために『計画を推論として扱う』アプローチを適用する。
• 情報幾何を用いて確率分布間のKLダイバージェンスを計算し、EMアルゴリズムにおけるe-射影とm-射影のステップを可能にする。
• EMアルゴリズムを用いて方策を反復的に最適化する：e-射影は目的分布の上でのD(Q∥P)の最小化、m-射影は行動方策の上でのD(Q∥P)の最小化を実行する。
• 射影の閉形式表現を導出する：e-射影はQ(z) = P(z)·Q(g)/P(g)を用い、m-射影はマークフ・要因に基づく条件付き確率の更新を用いる。
• 環境との相互作用が認知的負荷をどの程度軽減するかとして形態的計算を定量化し、コントローラー内の内部的情報統合として統合情報を定義する。

実験結果

リサーチクエスチョン

• RQ1 身体における形態的計算は、コントローラーで必要な統合情報のレベルにどのように影響するか？
• RQ2 コントローラーの行動への影響が、内部統合に加えて、情報の流入・流出にどの程度依存しているか？
• RQ3 情報幾何を用いた『計画を推論として扱う』フレームワークは、形態的負荷と認知的負荷の両方を最小化する最適方策を特定できるか？
• RQ4 体現的エージェントにおいて、形態的計算と統合情報の間のトレードオフの性質は何か？
• RQ5 異なる形態的構成は、タスク遂行における身体ベースと脳ベースの処理のバランスをどのようにシフトさせるか？

主な発見

• 形態的計算と統合情報は対立的関係にあり、形態的計算が増加するにつれ、脳における統合情報の必要性が減少する。
• コントローラーが行動に直接的な影響を持たない場合でも、情報の流入・流出がその機能的役割を決定づける上で不可欠である。
• EMアルゴリズムは反復的なe-射影とm-射影を経て、局所的最小値に収束し、それらが異なる行動戦略を表すことを示した。
• e-射影の式Qt(z) = P(z)·Q(g)/P(g)は、目的確率に基づいて方策分布を調整することで、目的尤度を最大化する。
• m-射影の更新式P^{t+1}(z) = Qt(ct|at,st) · ˆP(s,g|s,a) · Qt(at) / ∏i Qt(ai^{t+1}|st,ct) · ∏j Qt(cj^{t+1}|st,ct) は、現在の状態と行動に条件づけられたことで、効率的な方策の最適化を可能にする。
• 本研究は、コントローラーの貢献を評価するには統合情報の測定だけでは不十分であり、情報の流れのダイナミクスを併せて分析する必要があることを示している。