[論文レビュー] Empirical Bayes Methods, Reference Priors, Cross Entropy and the EM Algorithm

Ilja Klebanov, Alexander Sikorski+2 more|arXiv (Cornell University)|Nov 30, 2016

Forecasting Techniques and Applications被引用数 1

ひとこと要約

本稿では、再パラメトリゼーションおよび測定変換に対して不変性を保証するエントロピーに基づくペナルティ項を、経験ベイズ密度推定に提案する。これは非パラメトリックな最尤推定（NPMLE）における過剰適合問題を解決することを目的としている。この手法は参照事前分布を一般化し、交差エントロピーおよび最小識別情報と関連づけ、二重に滑らか化された最尤推定量を特別な場合として得る。

ABSTRACT

When estimating a probability density within the empirical Bayes framework, the non-parametric maximum likelihood estimate (NPMLE) usually tends to overfit the data. This issue is usually taken care of by regularization - a penalization term is subtracted from the marginal log-likelihood before the maximization step, so that the estimate favors smooth solutions, resulting in the so-called maximum penalized likelihood estimation (MPLE). The majority of penalizations currently in use are rather arbitrary brute-force solutions, which lack invariance under transformation of the parameters(reparametrization) and measurements. This contradicts the principle that, if the underlying model has several equivalent formulations, the methods of inductive inference should lead to consistent results. Motivated by this principle and using an information-theoretic point of view, we suggest an entropy-based penalization term that guarantees this kind of invariance. The resulting density estimate can be seen as a generalization of reference priors. Using the reference prior as a hyperprior, on the other hand, is argued to be a poor choice for regularization. We also present an insightful connection between the NPMLE, the cross entropy and the principle of minimum discrimination information suggesting another method of inference that contains the doubly-smoothed maximum likelihood estimation as a special case.

研究の動機と目的

• 経験ベイズ枠組み内における非パラメトリックな最尤推定（NPMLE）の過剰適合問題に対処する。
• 既存のペナルティ手法がパrameter変換および測定変換に対して不変でないことを特定し、統計的推論の基本的原則に反することを示す。
• 情報理論に基づいた正則化手法を構築し、同等のモデル定式化間で不変性と一貫性を保証する。
• 経験ベイズ推定を情報理論の原則、特に交差エントロピーおよび最小識別情報と調和させる。
• 参照事前分布をハイパーパriorとして正則化に用いることが不適切であることを示し、エントロピーに基づくペナルティに優る代替手法を提案する。

提案手法

• 情報理論的原則に根ざしたエントロピーに基づくペナルティ項を導入し、経験ベイズ推定における周辺尤度の対数を正則化する。
• フィッシャー情報とジェフリーの事前分布を基準として用いることで、再パラメトリゼーションおよび測定変換に対して推定手順が不変となるようにペナルティを構築する。
• 得られた推定量を情報理論的ペナルティを伴う最大ペナルティ尤度推定（MPLE）として定式化し、参照事前分布の概念を一般化する。
• NPMLE、交差エントロピー、最小識別情報の原則の間の関係を確立し、情報発散の最小化として推定を定式化する。
• 提案されたフレームワークの特別な場合として、二重に滑らか化された最尤推定量を導出する。これによりエントロピー最小化と関連づける。
• EMアルゴリズムを用いてペナルティ付き尤度推定量を計算し、新しいペナルティスキーム下での密度推定量の反復的最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 経験ベイズ密度推定における正則化は、どのように再パラメトリゼーションおよび測定変換に対して不変にできるか？
• RQ2 非パラメトリックな最尤推定において、任意のペナルティ項の代わりに、どのような情報理論的原則が原理的代替として適切か？
• RQ3 提案されたエントロピーに基づくペナルティは、経験ベイズ法における参照事前分布の概念をどのように一般化するか？
• RQ4 交差エントロピー、最小識別情報、および最大ペナルティ尤度推定との関係は、どのように正式に確立されるか？
• RQ5 なぜこの文脈において、参照事前分布をハイパーパriorとして正則化に用いることが不適切とされるのか？

主な発見

• 提案されたエントロピーに基づくペナルティ項は、再パラメトリゼーションおよび測定変換に対して不変性を保証し、統計的推論の基本的原則を満たす。
• この手法は、同等のモデル定式化間での一貫性を重視する情報理論的枠組みに参照事前分布を埋め込むことで、参照事前分布を一般化する。
• ハイパーパriorとして参照事前分布を用いる正則化は、提案されたエントロピーに基づくペナルティと同等の不変性特性を有しないことが示され、劣っていることが判明した。
• NPMLE、交差エントロピー、最小識別情報が正式に結びつけられ、提案手法は統一された推論フレームワークを提供する。
• 二重に滑らか化された最尤推定量は、提案手法の特別な場合として導出され、理論的整合性が裏付けられる。
• 得られた密度推定量は滑らかな解を好む傾向があり、過剰適合を回避しながら不変性を維持する。これは、恣意的なペナルティ手法に対する原理的代替となる。