[論文レビュー] Life-inspired Interoceptive Artificial Intelligence for Autonomous and Adaptive Agents

Sung‐Woo Lee, Younghyun Oh+5 more|arXiv (Cornell University)|Sep 12, 2023

Complex Systems and Decision Making被引用数 4

ひとこと要約

本稿では、生物学的内部受容性にインspiredされた内部状態調節をモデル化することで、自律的かつ適応的であるようなエージェントを構築するための新規フレームワーク、Life-inspired Interoceptive Artificial Intelligence (LIIA) を提案する。自由エネルギー原理に基づくダイナミクスと強化学習を統合し、エージェントが内部状態を自己調節し、ホメオスタシスを維持し、変化し続ける環境においても的確に目標を遂行できるようにする。

ABSTRACT

Building autonomous -- i.e., choosing goals based on one's needs -- and adaptive -- i.e., surviving in ever-changing environments -- agents has been a holy grail of artificial intelligence (AI). A living organism is a prime example of such an agent, offering important lessons about adaptive autonomy. Here, we focus on interoception, a process of monitoring one's internal environment to keep it within certain bounds, which underwrites the survival of an organism. To develop AI with interoception, we need to factorize the state variables representing internal environments from external environments and adopt life-inspired mathematical properties of internal environment states. This paper offers a new perspective on how interoception can help build autonomous and adaptive agents by integrating the legacy of cybernetics with recent advances in theories of life, reinforcement learning, and neuroscience.

研究の動機と目的

• 生物の個体が内発的ニーズに基づいて自律的に目標を選択するのを模倣し、内部ニーズに基づいて自律的な目標選択が可能な人工エージェントの開発を目的とする。
• 変化し続ける環境における長期的適応の課題に、AIアーキテクチャに内部受容性を統合することで対処することを目的とする。
• サイバネティクス、神経科学、現代の強化学習を、生物学的にインスパイアされたフレームワークを通じて統合することを目的とする。
• 内部状態調節を、人工エージェントにおける生存と適応可能性の根幹的メカニズムとして形式化することを目的とする。
• 生命にインスパイアされた数学的原則を用いて、内部変数の継続的モニタリングと調節を通し、ホメオスタシスを維持する仕組みを実現することを目的とする。

提案手法

• 内部状態変数を外部環境変数から分離し、内部受容性を独立した調節プロセスとしてモデル化する。
• 自由エネルギー原理（FEP）を適用して、内部状態の驚きを最小化する変分推論フレームワークを導出する。
• 内部状態がホメオスタシスの範囲外に逸脱する度合いに基づく内在的報酬を定義することで、内部受容的ダイナミクスを強化学習に統合する。
• 階層的生成モデルを用いてエージェントの内部世界モデルを表現し、内部受容的予測と外部受容的予測を区別する。
• 二重ループ学習メカニズムを実装する：一方は外部環境のポリシー最適化に、もう一方は内部状態の調節に使用する。
• 境界性やレジリエンスといった、生命にインスパイアされた数学的性質を内部状態ダイナミクスに採用し、安定性と適応可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 人工エージェントにおいて内部受容性をどのように形式化すれば、内部ニーズに基づいた自律的目標選択が可能になるか？
• RQ2 人工エージェントが変化する環境において内部ホメオスタシスを維持するための数学的・計算的メカニズムは何か？
• RQ3 内部受容性を統合することで、強化学習エージェントの長期的適応性とレジリエンスがどのように向上するか？
• RQ4 自由エネルギー原理を、エージェンシーの根幹的要因としての内部状態調節をモデル化するために、どのように拡張できるか？
• RQ5 生物学的自己調節に類似した自己調節機能を人工知能システムに埋め込むための設計原則は何か？

主な発見

• 提案されたLIIAフレームワークにより、エージェントは内部状態の逸脱に基づいて自律的に目標を選択でき、生物学的ホメオスタシス調節を模倣することができる。
• 内部受容的ダイナミクスを用いて訓練されたエージェントは、標準的なRLベースラインと比較して、変化し続ける非定常環境において優れたレジリエンスと適応性を示す。
• 自由エネルギー最小化による内部状態調節は、環境の摂動に対しても安定的かつ有界な行動をもたらす。
• 内部受容性と強化学習の統合により、長時間スパンの目標遂行を支援する内在的報酬形状が実現される。
• 明示的な外部報酬がなくても、エージェントは自己保存行動が顕在化するため、ホメオスタシスを通じた内在的動機付けの有効性が示された。
• 実証結果から、非内部受容的エージェントと比較して、LIIAエージェントは内部状態の境界をより効果的に維持しており、制御性能のばらつきも低減されている。