[論文レビュー] Information-Theoretic Bounded Rationality

Pedro A. Ortega, Daniel A. Braun+3 more|arXiv (Cornell University)|Dec 21, 2015

Computability, Logic, AI Algorithms参考文献 63被引用数 31

ひとこと要約

本論文は、資源制約下での意思決定を自由エネルギー汎関数を用いてモデル化する情報理論的枠組みを提案する。報酬最大化と情報コストのトレードオフとしての意思決定を扱い、ポリシー上の効率的なモンテカルロサンプリングを可能にし、古典的決定ルール（例：Expectimax、Minimax）を極限ケースとして一般化するとともに、エントロピック正則化によってモデルの不確実性を捉える。

ABSTRACT

Bounded rationality, that is, decision-making and planning under resource limitations, is widely regarded as an important open problem in artificial intelligence, reinforcement learning, computational neuroscience and economics. This paper offers a consolidated presentation of a theory of bounded rationality based on information-theoretic ideas. We provide a conceptual justification for using the free energy functional as the objective function for characterizing bounded-rational decisions. This functional possesses three crucial properties: it controls the size of the solution space; it has Monte Carlo planners that are exact, yet bypass the need for exhaustive search; and it captures model uncertainty arising from lack of evidence or from interacting with other agents having unknown intentions. We discuss the single-step decision-making case, and show how to extend it to sequential decisions using equivalence transformations. This extension yields a very general class of decision problems that encompass classical decision rules (e.g. EXPECTIMAX and MINIMAX) as limit cases, as well as trust- and risk-sensitive planning.

研究の動機と目的

• 報酬最大化と情報処理コストのトレードオフとして有界合理性を形式化すること。
• 計算制約下での意思決定に原理的で情報理論的基盤を提供すること。
• 古典的決定ルール（例：Expectimax、Minimax）とリスクセンシティブな計画を統一的な枠組みで統合すること。
• 全探索を回避する正確なモンテカルロサンプリングによる実用的でスケーラブルな計画を可能にすること。
• エントロピック正則化による価値関数の正則化を通じて、逐次的意思決定における信頼と不確実性をモデル化すること。

提案手法

• ラグランジュ乗数を用いて期待報酬と情報コスト（エントロピー）を結合した自由エネルギー汎関数を目的関数として使用する。
• 変分原理を適用し、報酬と情報コストの最適なトレードオフを実現する確率的ポリシーを導出する。
• 自由エネルギーの最小化から導かれるソフトマックス型ポリシーを採用し、拒否サンプリングを用いた効率的なサンプリングを可能にする。
• エントロピック正則化を施したベルマン再帰を用いて、単一ステップの意思決定を逐次的意思決定に拡張する。
• 有界合理性意思決定木を標準的決定木に変換する同値変換を用いる。
• 再帰的拒否サンプリングを用いて、全探索を回避して最適な有界合理性ポリシーからの正確なサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 資源制約を情報理論的原則を用いて形式化することで、有界合理性をどのようにモデル化できるか？
• RQ2 自由エネルギー汎関数は、情報コストパラメータがゼロまたは無限大に近づく極限において、Minimax や Expectimax といった古典的決定ルールをどのように統合するか？
• RQ3 意思決定におけるモデルの不確実性や証拠の不足は、エントロピック正則化によって自然に捉えられるか？
• RQ4 有界合理性のもとで全探索を回避して正確かつスケーラブルな計画を達成する方法は何か？
• RQ5 自らの予測能力への信頼、および他のエージェントの意図への信頼は、有界合理性枠組みからどのように生じるか？

主な発見

• 最適な有界合理性ポリシーは、自由エネルギー汎関数の最小化から導かれる確率的選択戦略であり、報酬と情報コストのバランスを取る。
• 自由エネルギー汎関数により、拒否サンプリングを用いた正確なモンテカルロサンプリングが可能となり、全探索の必要がなくなる。
• 情報コストパラメータがゼロまたは無限大に近づく極限において、Minimax や Expectimax といった古典的決定ルールが現れる。
• モデルの不確実性はエントロピック正則化によって自然に捉えられ、価値推定が報酬の高次モーメントに偏るようにする。
• 情報制約を組み込んだベルマン再帰を用いることで、有界合理性意思決定木への一般化が可能となる。
• 情報コストパラメータの調整により、信頼センシティブおよびリスクセンシティブな計画を統合する統一的枠組みを提供する。