[論文レビュー] The Polya Urn: Limit Theorems, Polya Divergence, Maximum Entropy and Maximum Probability

Marian Grendár, Robert K. Niven|arXiv (Cornell University)|Dec 29, 2006

Stochastic processes and statistical mechanics参考文献 23被引用数 4

ひとこと要約

本稿は、多色Pólya-Eggenberger（PE）ウーム抽出方式に対して、条件付き極限定理（CoLT）およびサンフ・定理を確立し、Kullback-Leibler発散の一般化である新しい発散測度「Pólya発散」を導入する。標準的な最大エントロピー（MaxEnt）ではなく、最大尤度（MaxProb）原理がPE抽出下での正しい漸近的推論を提供することを示し、アタイックなMaxEntアプローチの普遍性に疑問を呈するとともに、従属抽出プロセスにおける逆問題に対して確率論的根拠を持つ代替手法を提示する。

ABSTRACT

Sanov's Theorem and the Conditional Limit Theorem (CoLT) are established for a multicolor Polya Eggenberger urn sampling scheme, giving the Polya divergence and the Polya extension to the Maximum Relative Entropy (MaxEnt) method. Polya MaxEnt includes the standard MaxEnt as a special case. The universality of standard MaxEnt - advocated by an axiomatic approach to inference for inverse problems - is challenged, in favor of a probabilistic approach based on CoLT and the Maximum Probability principle.

研究の動機と目的

• 多色Pólya-Eggenberger（PE）ウーム抽出方式へのサンフの定理および条件付き極限定理（CoLT）の拡張を目的とする。
• 従属抽出プロセスに適したKullback-Leibler発散の一般化である、新しい発散測度「Pólya発散」の導入と分析を目的とする。
• c ≠ 0 のPE抽出において標準的MaxEnt法が失敗することを示し、逆問題における標準的MaxEnt法の普遍性に疑問を呈することを目的とする。
• PE抽出下でCoLTと整合する最大尤度（MaxProb）原理による推論の確率論的基盤を確立することを目的とする。
• CoLTから導かれるPólya MaxEnt法が、c = 0 のとき標準的MaxEntを特別な場合として含み、従属抽出下でも一貫した漸近的推論を提供することを示すこと

提案手法

• パrameter β（抽出比）および c（強化パrameter）を組み込んだ、KL発散の一般化としてのPólya発散 $ I(p\,||\,q;\beta,c) $ を導出する。
• PE抽出におけるサンフの定理を確立する。確率 $ \pi(\nu^n \in \Pi; q, c) $ の大偏差行動を分析し、Pólya発散によって支配される指数的減衰を示す。
• ギブズ条件付け原理（GCP）を適用してPE抽出におけるCoLTを導出し、実現型 $ \nu^n $ が事前分布 q からのPólya発散を最小化する分布に集中することを示す。
• Pólya発散を用いて、標準的MaxEntが c = 0 のときに帰着する新しい最大エントロピー法「Pólya MaxEnt」を定義する。
• n → ∞ のときの最大尤度（MaxProb）分布のPólya MaxEnt解への収束を分析し、数値表（表I）を用いて漸近的一致を図示する。
• Pólya発散の主要な性質の証明：非負性、下付き連続性、凸性、分割不等式、Pinsker型不等式。

実験結果

リサーチクエスチョン

• RQ1 多色Pólya-Eggenbergerウーム抽出方式に対して、条件付き極限定理（CoLT）は成立するか？ また、その大偏差行動はいかなるものか？
• RQ2 Pólya抽出のような従属抽出プロセスに拡張可能な、一般化された発散測度を定義できるか？
• RQ3 c ≠ 0 のとき、Pólya抽出下での最大尤度（MaxProb）原理と標準的MaxEnt法の比較は？
• RQ4 標準的MaxEnt法はPólya抽出下で漸近的に一貫性を示すのか、それとも c ≠ 0 の場合にCoLTを破るのか？
• RQ5 PE抽出下での最も確率の高い実現型 $ \nu^n $ の極限的挙動は何か？ また、Pólya MaxEntとはどのように関係するか？

主な発見

• Pólya発散 $ I(p\,||\,q;\beta,c) $ は非負であり、かつ $ p = q $ のときに限りゼロとなる。これにより、有効な発散測度であることが保証される。
• Pólya発散は両方の引数において凸性を満たし、分割不等式を満たす。これにより、最適化および情報理論的解析に適している。
• c ≠ 0 の場合、標準的MaxEnt法はPólya CoLTを満たさない。これは、従属抽出下では漸近的に一貫性がないことを示唆する。
• 最大尤度（MaxProb）原理により選ばれる最も尤もらしい実現型 $ \nu^n $ は、n → ∞ のときPólya MaxEnt解に収束する。表Iでは n = 1000 の場合にその収束が明確に示されている。
• CoLTから導かれるPólya MaxEnt法は、c = 0 のとき標準的MaxEntを特別な場合として含み、従属抽出下での推論の統一的枠組みを提供する。
• 表Iの数値結果から、n = 1000 のとき、MaxProb分布はPólya MaxEnt解に非常に近接して収束しており、c ∈ {-2,-1,0,1,5,10} の全範囲で各成分における最大偏差が0.03未満であることが示されている。