[論文レビュー] Information Criterion for Minimum Cross-Entropy Model Selection

Youngjun Choe|arXiv (Cornell University)|Apr 14, 2017

Statistical Methods and Inference被引用数 5

ひとこと要約

この論文は、データポイントにおける評価が定数までしか得られない場合に、パラメトリックモデルからターゲット分布への交差エントロピーを推定するAICの一般化であるクロスエントロピー情報量基準（CIC）を導入する。CICは交差エントロピー推定に対して漸近的に不偏であることが証明されており、パラメトリックモデルの混合による近似的な最適重要度サンプリング分布への応用が行われる。

ABSTRACT

The cross-entropy, which is proportional to the Kullback-Leibler divergence, is widely used to gauge the deviation of a distribution of interest from a reference distribution in statistical inference. For example, the Akaike information criterion (AIC) is an asymptotically unbiased estimator of the cross-entropy from a parametric distribution to the true distribution of data. Minimizing the AIC allows us to find a parametric distribution close to the true distribution. In this paper, we generalize the AIC by letting the reference distribution be a target distribution to approximate when its density can be evaluated up to a multiplicative constant only at observed data points. We prove, under some conditions, that the generalized criterion, which we call the cross-entropy information criterion (CIC), is an asymptotically unbiased estimator of the cross-entropy (up to a multiplicative constant) from a parametric distribution to the target distribution. We demonstrate the usefulness of CIC for approximating the optimal importance sampling distribution by a mixture of parametric distributions.

研究の動機と目的

• 参照分布が乗法的定数までしか分かっていないターゲット分布であるような状況に、赤池情報量基準（AIC）を拡張すること。
• パラメトリックモデルとそのようなターゲット分布との間の交差エントロピーを漸近的に推定する基準を開発すること。
• 重要度サンプリングのような状況で、ターゲット分布を最もよく近似するパラメトリックモデルの選択を可能にする実用的ツールを提供すること。
• 混合パラメトリックモデルを用いて最適重要度サンプリング分布を近似する際、提案基準の有効性を示すこと。

提案手法

• 観測されたデータポイントにおける密度が乗法的定数までしか分かっていないターゲット分布を参照分布として許容するようにAICを一般化すること。
• パラメトリックモデルからターゲット分布への交差エントロピーの推定器として、クロスエントロピー情報量基準（CIC）を定義すること。
• 正則性条件の下で、CICが交差エントロピーの推定に対して漸近的に不偏であることを証明すること（定数倍の差を除く）。
• CICを用いて最適重要度サンプリング分布を最もよく近似する混合モデルを選択すること。
• ターゲット密度が観測されたデータポイントでのみ評価可能な尤度に基づく枠組みで基準を適用すること。

実験結果

リサーチクエスチョン

• RQ1 AICは、参照分布が定数までしか分かっていない場合に一般化可能か？
• RQ2 提案された基準は、計算が困難な正規化定数を含むターゲット分布への交差エントロピー推定に対して漸近的に不偏か？
• RQ3 CICは重要度サンプリング近似のためのモデル選択においてどの程度の性能を示すか？
• RQ4 CICは、最適重要度サンプリング分布を近似するための混合モデルの選択を効果的に導けるか？

主な発見

• 提案されたクロスエントロピー情報量基準（CIC）は、ターゲット密度が乗法的定数までしか分かっていない場合でも、パラメトリックモデルからターゲット分布への交差エントロピー推定に対して漸近的に不偏である。
• CICはAICの望ましい性質を保ちつつ、正規化定数が計算不能な問題への適用範囲を拡張する。
• この基準により、シミュレーションベース推論の文脈で最適重要度サンプリング分布に近いパラメトリックモデルの選択が有効に行える。
• CICは、指数型分布族や潜在変数モデルのような、ターゲット分布が定数までしか分かっていない状況において、理論的裏付けと実用性を兼ね備えたモデル選択手法を提供する。