[論文レビュー] Free Energy and the Generalized Optimality Equations for Sequential Decision Making

Pedro A. Ortega, Daniel A. Braun|arXiv (Cornell University)|May 17, 2012

Decision-Making and Behavioral Economics参考文献 17被引用数 8

ひとこと要約

本稿では、逐次的意思決定問題における制限付き合理的意思決定のための統一的自由エネルギー原理を提案し、ベルマン方程式や期待最大化、ミニマックス、期待ミニマックスといった標準的な意思決定ルールを包含する一般化された最適性方程式を導出する。意思決定木の各ノードにリソースパラメータ（逆温度）を割り当てることで、計算コストをサンプリング要件として定量化し、確率的および敵対的環境下でのリソース制約下における合理的行動の規範的基盤を提供する。

ABSTRACT

The free energy functional has recently been proposed as a variational principle for bounded rational decision-making, since it instantiates a natural trade-off between utility gains and information processing costs that can be axiomatically derived. Here we apply the free energy principle to general decision trees that include both adversarial and stochastic environments. We derive generalized sequential optimality equations that not only include the Bellman optimality equations as a limit case, but also lead to well-known decision-rules such as Expectimax, Minimax and Expectiminimax. We show how these decision-rules can be derived from a single free energy principle that assigns a resource parameter to each node in the decision tree. These resource parameters express a concrete computational cost that can be measured as the amount of samples that are needed from the distribution that belongs to each node. The free energy principle therefore provides the normative basis for generalized optimality equations that account for both adversarial and stochastic environments.

研究の動機と目的

• 計算リソースの制約を考慮した逐次的意思決定問題における制限付き合理的意思決定の規範的フレームワークを構築すること。
• 単一の変分原理を用いてベルマン最適性方程式を、敵対的および確率的環境に一般化すること。
• 期待最大化、ミニマックス、期待ミニマックスといった代表的な意思決定ルールを、統一的自由エネルギー関数の特別なケースとして導出すること。
• 各ノードの分布からのサンプル数として、計算コストの明確で測定可能な解釈を提供すること。
• 意思決定木における情報処理コストと意思決定パフォーマンスの間の原理的関係を確立すること。

提案手法

• 意思決定を、事前分布 Q と効用 U からボルツマン型変換を経て得られる平衡分布 P を最小化する自由エネルギー最小化問題として形式化し、逆温度 α を用いる。
• 各意思決定ノードにリソースパラメータ β(x) を導入し、情報処理コストを表す逆温度 α として定量化する。
• 意思決定シーケンス上で自由エネルギー関数を再帰的に最大化することで、報酬と情報コストを組み込んだ一般化された最適性方程式を導出する。
• テレスコピング和と再帰的分解を用いて、軌道全体の自由エネルギーを時間ステップごとの和として表現し、動的計画法による解法を可能にする。
• 変分法を用いて各ノードにおける最適方策を導出し、最適方策が報酬と情報コストに基づく重み付け付きギブス分布であることを示す。
• 極限状態において、自由エネルギー関数が既知の意思決定ルールに還元されることを示す：α→∞ では最大化（例：期待最大化）、α→0 ではミニマックス、混合 α では期待ミニマックス。

実験結果

リサーチクエスチョン

• RQ1 単一の変分原理が、確率的および敵対的環境における制限付き合理的意思決定を統一的に扱えるか？
• RQ2 計算コストを逐次的意思決定モデルに形式的かつ定量的に統合する方法は何か？
• RQ3 ミニマックスや期待ミニマックスといった標準的ルールが、一般化された最適性方程式の特別なケースとして導出可能か？
• RQ4 逆温度パラメータ α と、意思決定を近似するために必要なサンプル数との関係は何か？
• RQ5 自由エネルギー関数は、情報処理制約を組み込んだベルマン最適性方程式をどのように一般化するか？

主な発見

• 自由エネルギー関数は、利益の増加と情報処理コストの両方をバランスさせる制限付き合理的意思決定の規範的基盤を提供する。
• 無限の計算リソースがある極限（α→∞）において、一般化された最適性方程式は標準的なベルマン方程式に還元される。
• α→0 の極限においてミニマックスルールが自由エネルギー原理の極限として出現し、最悪ケース最適化に対応する。
• 期待ミニマックスルールは、期待値と最小化のノードを含む意思決定木において、適切なリソースパラメータを設定することで特別なケースとして導出可能である。
• 各ノードにおける計算コストは、ノードの分布からのサンプル数として定量化され、報酬ギャップと事前確率の観点から境界が導出される。
• 本フレームワークにより、動的計画法を用いた再帰的問題解決が可能となり、最適方策は局所的な報酬と情報コストに依存するギブス分布として与えられる。