[論文レビュー] Bayesian Properties of Normalized Maximum Likelihood and its Fast Computation

Andrew R. Barron, Teemu Roos+1 more|arXiv (Cornell University)|Jan 28, 2014

Gaussian Processes and Bayesian Inference参考文献 5被引用数 4

ひとこと要約

本稿は、弱い線形独立性条件の下で、符号化や予測タスクにおける高速かつ正確な計算を可能にする、正規化最大尤度（NML）分布の有限混合モデルとしての正確なベイズ的類似表現を確立する。この表現は、正負の混合係数（prior weights）を許容するが、依然として正確である。

ABSTRACT

The normalized maximized likelihood (NML) provides the minimax regret solution in universal data compression, gambling, and prediction, and it plays an essential role in the minimum description length (MDL) method of statistical modeling and estimation. Here we show that the normalized maximum likelihood has a Bayes-like representation as a mixture of the component models, even in finite samples, though the weights of linear combination may be both positive and negative. This representation addresses in part the relationship between MDL and Bayes modeling. This representation has the advantage of speeding the calculation of marginals and conditionals required for coding and prediction applications.

研究の動機と目的

• 有限標本における正規化最大尤度（NML）を、符号付き事前重みを許容するベイズ的混合として正確に表現すること。
• 最小記述長（MDL）とベイズ的モデリングの理論的関係を解明し、一部のモデルでは正確なNML表現のためには符号付き事前分布が必要であることを示すこと。
• データ圧縮および予測に必要なNML周辺分布および条件付き分布を計算するための計算効率の良い手法を開発すること。
• 正確な表現に必要な質量点の数が、モデルの自由度によって上限を持つこと、特に離散指数型分布族に対して示すこと。
• ベルヌーイ試行における予測性能への影響を検討し、尤度推定値と一致する事後平均を達成できることを示すこと。

提案手法

• 固定された $ \theta_k $ に対して、線形代数を用いて、正または負の重み $ W_k $ を持つ成分密度 $ p(x|\theta_k) $ の有限混合としてNMLを定式化する。
• ニュートン型最適化アルゴリズムを用い、質量点の位置 $ \theta_k $ と重み $ W_k $ を同時に推定する。$ \beta $ を大きくすることで、最悪ケース比を近似するリーマン・ダイバージェンス基準を最小化する。
• 制約条件 $ \sum_k W_k = 1 $ の下で最適化を実行し、収束を確実にするために $ \beta = 150 $（$ n=500 $ の場合 $ 120 $）を用いる。
• 収束性と退化の回避を高めるために、初期値として $ \sin^2((k-1)\pi / 2(K-1)) $ を使用する。
• Kullback-Leibler距離 $ D(\text{NML} \| \text{mix}) < 10^{-7} $ および最悪ケース比 $ \max_x \text{NML}(x)/\text{mix}(x) < 1 + 10^{-3} $ を用いて精度を検証する。
• i.i.d. な $ n $ 回のベルヌーイ試行に対して、$ \lfloor n/2 \rfloor + 1 $ または $ n+1 $ 個の質量点で正確な表現が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 正規化最大尤度（NML）は、符号付き事前重みを許容する場合でも、有限のベイズ混合として正確に表現可能か？
• RQ2 与えられたパラメトリックモデルにおいて、NMLを正確に表現するために必要な最小の質量点数は何か？また、これはモデルの自由度とどのように関係するか？
• RQ3 ユニバーサルコーディングおよび予測における周辺確率および条件付き確率推定に必要なNML分布を、どのように効率的に計算できるか？
• RQ4 どのような条件下で、NMLのベイズ的類似表現には非負の重みではなく、符号付き（正・負）の事前重みが必要となるか？
• RQ5 ベルヌーイ試行において、尤度推定値と一致するように、NMLに一致する事前分布を構築できるか？

主な発見

• モデルに弱い線形独立性条件が満たされれば、符号付き事前重みを許容するが、NMLを有限混合モデルとして正確に表現できる。
• i.i.d. な $ n $ 回のベルヌーイ試行に対して、$ \theta_k $ と $ W_k $ を最適化すると、$ \lfloor n/2 \rfloor + 1 $ 個の質量点で十分に正確なNML表現が達成できる。
• $ n+1 $ 個の質量点があれば、$ \theta_k $ の値に関わらず正確な表現が保証され、$ \theta_k $ の最適化により近似精度がさらに向上する。
• 提案された最適化手法により、$ D(\text{NML} \| \text{mix}) < 10^{-7} $ および最悪ケース比 $ \max_x \text{NML}(x)/\text{mix}(x) < 1 + 10^{-3} $ を達成し、高い忠実度が確認された。
• 本手法により、算術符号化や逐次予測に不可欠なNML周辺分布および条件付き分布の高速かつ正確な計算が可能になった。
• ベルヌーイ試行において、NMLに一致する事前分布を用いることで、1の数が 0 でも $ n $ でもない限り、対数オッズの事後平均が尤度推定値と一致する。