[論文レビュー] Information Theory - The Bridge Connecting Bounded Rational Game Theory and Statistical Physics

David H. Wolpert|arXiv (Cornell University)|Feb 19, 2004

Complex Systems and Time Series Analysis被引用数 10

ひとこと要約

この論文は、情報理論に根ざしたProduct Distribution (PD)理論が、Kullback-Leibler発散を用いて結合分布を近似することで、制限付き合理なゲーム理論と統計力学を統合することを確立している。制限付き合理な均衡が、報酬と情報理論的コストの最小化問題の解として出現することを示しており、ゲーム理論的意思決定と統計力学における平均場近似の間には深い数学的双対性が存在することが明らかになった。

ABSTRACT

A long-running difficulty with conventional game theory has been how to modify it to accommodate the bounded rationality of all real-world players. A recurring issue in statistical physics is how best to approximate joint probability distributions with decoupled (and therefore far more tractable) distributions. This paper shows that the same information theoretic mathematical structure, known as Product Distribution (PD) theory, addresses both issues. In this, PD theory not only provides a principled formulation of bounded rationality and a set of new types of mean field theory in statistical physics. It also shows that those topics are fundamentally one and the same.

研究の動機と目的

• 現実のエージェントにおける制限付き合理的な意思決定をモデル化する従来のゲーム理論の限界を克服すること。
• 特に最大エントロピーとKullback-Leibler発散を用いた情報理論的原則に基づいて、制限付き合理的な意思決定の原理的枠組みを提供すること。
• 統計力学における平均場近似の数学的構造と、制限付き合理的なゲームにおける均衡概念を統一すること。
• 同じ数学的形式主義—Product Distribution理論—が、制限付き合理的意思決定と統計力学の両方に適用可能であり、深い概念的関連性を明らかにすること。
• 対称性と非凸性のため、報酬関数が対称であっても、制限付き合理的なゲームに複数の均衡が出現しうることを示すこと。

提案手法

• 期待報酬と情報理論的コスト（負のエントロピー）を組み合わせたラグランジュ関数を最小化することで、制限付き合理的な意思決定を定式化し、Kullback-Leibler発散を近似誤差の尺度として用いる。
• 部分的な知識下で確率分布を推定するために最大エントロピー（Maxent）原理を適用し、制限付き合理的な均衡の変分原理を導出する。
• 個々のプレイヤーの分布の積として結合戦略分布を因数分解するProduct Distribution（PD）フレームワークを用い、計算の tractability（取り扱いやすさ）を確保する。
• ラグランジュ関数の局所的最小値に対する必要条件を導出し、勾配条件が期待報酬と戦略分布の対数の間のバランスを示していることを示す。
• 対称性（例えば、手の置換）を用いた変換に基づく議論を導入し、非一様な戦略条件のもとで、1つの均衡から複数の均衡を生成することを可能にする。
• ラグランジュ関数のヘッセ行列を分析し、任意の点で少なくとも1つの方向において局所的凸性が保証されることを証明することで、最適化における降下方向の存在を保証する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論における制限付き合理的意思決定を、情報理論を用いて形式的かつ原理的（principled）にどのようにモデル化できるか？
• RQ2 統計力学における平均場近似と、ゲームにおける制限付き合理的均衡との間の数学的関係は何か？
• RQ3 制限付き合理的なゲームに複数の均衡が出現しうるのか？ もしそうなら、どのような構造的条件のもとでそうなるか？
• RQ4 平均場理論において、真の分布から近似された積分布へのKullback-Leibler発散が、逆方向よりも適切であるのはなぜか？
• RQ5 ラグランジュ関数に情報理論的コスト項を組み込むことで、意思決定に計算コストが自然に組み込まれる理由は何か？

主な発見

• 制限付き合理的な均衡は、Kullback-Leibler発散から導かれる期待報酬と情報理論的コストをバランスさせる連立ラグランジュ関数の最小化問題の解として得られる。
• 同じ数学的構造—Product Distribution理論—が、制限付き合理的なゲーム均衡と統計力学における平均場近似の両方に適用可能であり、根本的な双対性を明らかにしている。
• 戦略空間に報酬関数を保存するが個々の戦略分布を変える非自明な対称性変換が存在する場合、制限付き合理的なゲームに複数の均衡が存在しうる。
• 任意のラグランジュ関数の局所的最小値において、各プレイヤーについて、期待報酬と戦略分布の対数の和が、すべての戦略値に対して一定であることが示され、最適性の必要条件となる。
• 任意のプレイヤーのラグランジュ関数のヘッセ行列は、少なくとも1つの方向において常に局所的凸性を示しており、最適化アルゴリズムが任意の点から降下方向を常に探索できることを保証する。
• 真の分布から積近似へのKL発散は、従来のアプローチ（逆方向KL発散を最小化）よりも原理的である新しい平均場近似のクラスを生み出す。