[論文レビュー] Towards A Theory-Of-Mind-Inspired Generic Decision-Making Framework

Mihai Polceanu, Cédric Buche|arXiv (Cornell University)|May 20, 2014

Data Visualization and Analytics被引用数 20

ひとこと要約

この論文では、環境モデルの複数回のシミュレーションを用いて、結果の予測、動的環境への適応、モデルの精錬を通じた意思決定の改善を可能にする、マインド理論にインspiredされた汎用的意思決定フレームワークを提案する。このアプローチは、IJCAI2013 AIBirds コンテストで競争力のあるパフォーマンスを達成し、不完全なモデルであっても安定的かつ再現可能で、効果的な戦略の発見が可能であった。

ABSTRACT

Simulation is widely used to make model-based predictions, but few approaches have attempted this technique in dynamic physical environments of medium to high complexity or in general contexts. After an introduction to the cognitive science concepts from which this work is inspired and the current development in the use of simulation as a decision-making technique, we propose a generic framework based on theory of mind, which allows an agent to reason and perform actions using multiple simulations of automatically created or externally inputted models of the perceived environment. A description of a partial implementation is given, which aims to solve a popular game within the IJCAI2013 AIBirds contest. Results of our approach are presented, in comparison with the competition benchmark. Finally, future developments regarding the framework are discussed.

研究の動機と目的

• 多様な動的環境に適用可能な汎用的で、事例特化的でない意思決定フレームワークの開発。
• センサ入力や外部ソースから得られるものも含め、環境の複数のモデルをシミュレートすることで、行動の結果を予測する能力の実現。
• シミュレーション結果と現実世界の観測を比較することで、反復的なモデル精錬により意思決定の効率を向上させる。
• シミュレートされた結果と実際の結果の乖離に基づいて内部モデルを更新できるようにすることで、学習と適応を支援する。
• 複雑な仮想環境における構造的および行動的モデルを統合するスケーラブルなアーキテクチャの構築。

提案手法

• フレームワークは、環境モデリング、精神的シミュレーション、モデル精錬という3つのコンponentから成るアーキテクチャを採用し、並列に動作する。
• センサ入力や外部ソースからのものも含め、環境のさまざまなモデルをシミュレートすることで、行動の結果を予測する精神的シミュレーションを用いる。
• 不確実性や複雑な状況下でも、モデル選択を可能にし、耐障害性を高めるために、複数の環境モデルを維持する。
• 意思決定はシミュレーション結果に基づき、複数回のシミュレーションにおける予測成功確率に応じて戦略を選択する。
• シミュレーション結果と現実環境のフィードバックを比較することで、反復的にモデルの正確性を向上させ、学習と適応を可能にする。
• 人間が作成したモデルと自動生成されたモデルの両方をサポートし、拡張性を高めるためにメタモデリングアプローチを用いる。

実験結果

リサーチクエスチョン

• RQ1 マインド理論にインスパイアされた汎用的フレームワークは、複雑で動的な環境において、効果的な予測と適応を可能にするか？
• RQ2 複数の環境モデルを用いた精神的シミュレーションは、意思決定の質と耐障害性をどのように向上させるか？
• RQ3 シミュレーションベースの意思決定システムにおいて、現実世界の結果からのフィードバックによって、モデルの正確性はどの程度向上するか？
• RQ4 このようなフレームワークは、AIBirds コンテストのような実世界のAIベンチマークで、事例特化的チューニングなしに競争力のあるパフォーマンスを達成できるか？
• RQ5 同一の知覚的条件下で、シミュレーションベースの意思決定はどの程度安定的かつ再現可能か？

主な発見

• IJCAI2013 AIBirds コンテストにおいて、全レベルで平均スコア35,842.5を達成し、大多数のレベルでベンチマークを上回った。
• エージェントは高い意思決定安定性を示し、同一の知覚的条件下で一貫したシミュレーション出力により、同一のスコアを再現した。
• 図5の可視化オーバーレイにより確認されたように、『Poached Eggs』エピソードのレベル2における最適軌道といった効果的な戦略を効果的に発見した。
• レベル7では3回の失敗、レベル9では1回の失敗にとどまり、ナイーブベースラインと比較して著しく少ないため、耐障害性が向上した。
• 同一入力条件下での繰り返し同じ意思決定がなされたことから、シミュレーションの安定性が確認された。
• モデルの不正確さが最適でない意思決定を引き起こしたが、モデルの忠実度が高くなるほど、より良い戦略の発見とパフォーマンスが見られた。