[論文レビュー] Empowerment -- an Introduction

Christoph Salge, Cornelius Glackin+1 more|arXiv (Cornell University)|Oct 7, 2013

Cognitive Science and Mapping被引用数 4

ひとこと要約

本稿では、情報理論的でタスクに依存しない効用関数としてのエンパワーメントを導入し、エージェントがセンサモータ制御を通じて環境に影響を与える能力を定量化する。制御を行動とセンサ入力の間のチャネル容量としてモデル化することで、フレームワークはエージェントに内発的動機付けを可能にし、多様なセンサモータ構成に応用可能であり、スケーラビリティを考慮した連続的領域への近似が提案されている。

ABSTRACT

This book chapter is an introduction to and an overview of the information-theoretic, task independent utility function "Empowerment", which is defined as the channel capacity between an agent's actions and an agent's sensors. It quantifies how much influence and control an agent has over the world it can perceive. This book chapter discusses the general idea behind empowerment as an intrinsic motivation and showcases several previous applications of empowerment to demonstrate how empowerment can be applied to different sensor-motor configuration, and how the same formalism can lead to different observed behaviors. Furthermore, we also present a fast approximation for empowerment in the continuous domain.

研究の動機と目的

• 情報理論に裏打ちされたタスクに依存しない効用関数としてエンパワーメントを形式化すること。
• 外部報酬なしに自律エージェントの内発的動機付けとしてエンパワーメントがどのように機能するかを示すこと。
• 異なるセンサモータアーキテクチャや環境においても汎用性を示すエンパワーメントフレームワークの有用性を示すこと。
• 連続的状態空間および行動空間におけるエンパワーメントの計算を高速に近似する手法を提示すること。
• 人工知能分野におけるエンパワーメントの理論的基盤と実用的応用の包括的概要を提供すること。

提案手法

• 情報理論を用いて、エージェントの行動とセンサ入力の間のチャネル容量としてエンパワーメントを定義する。
• エージェントのセンサモータシステムを確率的チャネルとしてモデル化し、行動がセンサ出力に確率的に影響を与えるようにする。
• 行動とセンサ状態の間の相互情報量としてエンパワーメントを定式化し、行動方策の上での最大化を目的とする。
• 離散的および連続的領域にフレームワークを適用し、連続的ケースでは変分推論とガウス過程近似を用いる。
• ロボットや人工エージェント環境におけるシミュレーションおよび事例研究を通じて手法を実証する。
• 外部報酬信号なしに、エンパワーメントを最大化する原則を用いて探索や行動選択を誘導する。

実験結果

リサーチクエスチョン

• RQ1 エンパワーメントを、エージェントの環境への制御能力をタスクに依存せずに形式化する方法は何か？
• RQ2 エンパワーメントは、多様なセンサモータ構成における自律エージェントの実用的内発的動機付けとしてどのように機能するか？
• RQ3 連続的状態空間および行動空間にエンパワーメントを適用する際の計算的課題は何か。それらはどのように解決できるか？
• RQ4 エンパワーメントは、探索、ナビゲーション、自己保存といった自己組織的行動をどのように促進するか？
• RQ5 チャネル容量をエージェンシーと自律性の代理指標として用いることの理論的・実用的意味は何か？

主な発見

• エンパワーメントは、情報理論的チャネル容量を用いて、エージェントが環境に及ぼす実効的制御能力を的確に定量化できた。
• フレームワークによりエージェントに内発的動機付けが可能となり、外部報酬なしに探索や環境との相互作用といった行動が生じた。
• エンパワーメントは、ロボットやシミュレーテッドエージェントを含む多様なセンサモータ構成に適用可能であり、一貫した行動結果を示した。
• 連続的領域向けの高速近似手法が開発され、高次元システムへの実用的導入が可能になった。
• 実験的結果から、エンパワーメントを最大化するエージェントは自然に環境を探索し、低制御状態に閉じ込められるのを避ける傾向があることが示された。
• 形式的定式化は離散的および連続的設定の両方をカバーでき、情報理論および確率的制御の強固な理論的基盤を有している。