[論文レビュー] Maximum Entropy and the Glasses You Are Looking Through

Peter Grünwald|arXiv (Cornell University)|Jan 16, 2013

Statistical Mechanics and Entropy参考文献 6被引用数 26

ひとこと要約

この論文は、最大エントロピー（MaxEnt）原理をゲーム理論の視点から再解釈し、表現依存性を解消するためのMaxEnt分布の適用方法の違いを明確にしている。MaxEntを統計学者と自然の間のゲームとしてモデル化することで、表現に敏感な問題を回避し、不確実な環境における確率的推論のより堅牢な基盤を提供する。

ABSTRACT

We give an interpretation of the Maximum Entropy (MaxEnt) Principle in game-theoretic terms. Based on this interpretation, we make a formal distinction between different ways of {em applying/} Maximum Entropy distributions. MaxEnt has frequently been criticized on the grounds that it leads to highly representation dependent results. Our distinction allows us to avoid this problem in many cases.

研究の動機と目的

• MaxEntが表現に強く依存するという長年の批判に対処するため、その適用をゲーム理論的用語で形式化すること。
• MaxEnt分布の異なる適用モード、特に制約と証拠の解釈の違いを明確にすること。
• 統計学者と自然の戦略的ゲームとしてモデル化することで、表現に依存しない原理的なMaxEnt推論の基盤を提供すること。
• ゲーム理論的解釈が、非標準的または任意の表現に適用された際の従来のMaxEntの落とし穴を回避できることを示すこと。

提案手法

• 統計学者と自然のプレイヤーからなる2人零和ゲームとしてMaxEntをモデル化し、統計学者が制約のもとでエントロピーを最大化する分布を選択し、自然が統計学者の期待効用を最小化する分布を選択する。
• 「制約にMaxEntを適用する」ことと「観測された証拠にMaxEntを適用する」ことの明確な形式的区別を導入し、後者が表現選択に対してより頑健であることを示す。
• ミニマックス定理を用いて、一意な均衡分布の存在を導出し、適切に解釈された場合に標準的なMaxEnt解に対応することを示す。
• ゲーム理論的フレームワークを用いて、正しい制約の解釈がなされた場合、MaxEnt分布が再パラメータ化に対して不変であることを示す。
• 「眼鏡」の概念を観測者の視点の比喩として用い、異なる眼鏡（表現）が認識を変えるが、ゲーム理論的構造が一貫した推論を保証することを示す。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー原理を、表現依存性の結果を回避できるようにどのように解釈できるか？
• RQ2 制約にMaxEntを適用するのと、観測された証拠にMaxEntを適用するのとの間の正式な違いは何か？
• RQ3 ゲーム理論的フレームワークが、MaxEnt推論の安定的かつ不変な基盤を提供できるか？
• RQ4 なぜMaxEntがときとして直感に反するか、または感度が高い結果を生じるのか、そしてその問題はどのように解決できるか？

主な発見

• ゲーム理論的解釈により、表現に依存しないフレームワークが得られ、再パラメータ化に対する感度の問題が解決される。
• 制約にMaxEntを適用するのと証拠にMaxEntを適用するのとの違いは、異なる推論結果をもたらし、後者は表現依存性が低くより頑健である。
• ゲームの均衡は、制約が適切に解釈された場合、標準的なMaxEnt分布に正確に対応しており、このアプローチの妥当性が裏付けられる。
• このフレームワークは、なぜMaxEntが一貫性がないように見えるかを説明する：それは制約が「硬い」か「柔らかい」かに依存しており、ゲームモデルがこの違いを明確にする。