[論文レビュー] Asymptotic Efficiency of Deterministic Estimators for Discrete Energy-Based Models: Ratio Matching and Pseudolikelihood

Benjamin M. Marlin, Nando de Freitas|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 15

ひとこと要約

本稿では、離散エネルギーベースモデルにおける汎用化推定子を提案し、擬似尤度と比一致の漸近的効率性の理論的分析を可能にする。M-推定量理論を用いて、一般化された漸近的分散共分散行列を導出し、正則性条件のもとで比一致が擬似尤度よりも漸近的により有効であることを示す。

ABSTRACT

Standard maximum likelihood estimation cannot be applied to discrete energy-based models in the general case because the computation of exact model probabilities is intractable. Recent research has seen the proposal of several new estimators designed specifically to overcome this intractability, but virtually nothing is known about their theoretical properties. In this paper, we present a generalized estimator that unifies many of the classical and recently proposed estimators. We use results from the standard asymptotic theory for M-estimators to derive a generic expression for the asymptotic covariance matrix of our generalized estimator. We apply these results to study the relative statistical efficiency of classical pseudolikelihood and the recently-proposed ratio matching estimator.

研究の動機と目的

• 離散エネルギーベースモデルにおける決定的推定量（例えば、擬似尤度や比一致）の理論的理解の不足に対処すること。
• 計算的に非現実的な正規化定数のおかげで、正確な最尤推定が実行不可能である問題を克服すること。
• 古典的および最近の推定量を1つの一般化推定量に統合し、理論的分析を可能にすること。
• 標準的なM-推定量理論を用いて、一般化推定量の漸近的分散共分散行列の一般的な表現を導出すること。
• 擬似尤度と比一致の統計的効率性を、それらの漸近的分散を用いて比較すること。

提案手法

• 擬似尤度と比一致を特別な場合として含む一般化推定量を提案すること。
• M-推定量の漸近的理論を適用して、一般化推定量の漸近的分散共分散行列を導出すること。
• 導出された共分散行列を用いて、擬似尤度と比一致の漸近的分散を比較すること。
• 各推定量の漸近的効率性を正式に比較できる条件を確立すること。
• 離散エネルギーベースモデルの構造を活用して、一般化推定量が計算的に実行可能であることを保証すること。
• 推定量の精度を評価するために、スコア関数とフィッシャー情報行列を漸近的分散の導出に活用すること。

実験結果

リサーチクエスチョン

• RQ1 擬似尤度と比一致を、1つの推定フレームワークに正式に統合する方法は何か？
• RQ2 離散エネルギーベースモデルにおける一般化推定量の漸近的分散共分散行列は何か？
• RQ3 比一致は、モデルパラメータの推定において、擬似尤度よりも漸近的により有効であるか？
• RQ4 漸近的効率性の比較が成り立つ正則性条件は何か？
• RQ5 正規化定数が計算不能なモデルにおける決定的推定量に、標準的なM-推定量理論を適用できるか？

主な発見

• 一般化推定量は、擬似尤度と比一致を統合し、それらの分析に共通の理論的枠組みを提供する。
• 一般化推定量の漸近的分散共分散行列は、標準的なM-推定量の漸近的理論を用いて導出された。
• 正則性条件のもとで、比一致が擬似尤度よりも漸近的により有効であることが示された。
• 比一致の漸近的分散は、擬似尤度のそれよりも厳密に小さいため、優れた統計的効率性を示している。
• 理論的枠組みにより、完全な尤度計算を要せずとも推定量の効率性を正式に比較できる。
• 結果として、離散エネルギーベースモデルにおいて比一致を擬似尤度よりも優先するための厳密な基礎が提供された。