[論文レビュー] Relative Performance of Expected and Observed Fisher Information in Covariance Estimation for Maximum Likelihood Estimates

Xumeng Cao|arXiv (Cornell University)|May 5, 2013

Simulation Techniques and Applications参考文献 49被引用数 4

ひとこと要約

本稿では、標準的な最尤推定の正則性条件のもとで、期待 Fisher 情報行列（FIM）の逆行列が、観測 FIM の逆行列よりも最尤推定量（MLE）の分散共分散行列の推定において優れていることを示している。平均二乗誤差基準に基づき、漸近的に要素レベルでの推定誤差が低くなることが示され、従来の観測 FIM の優位性という常識に挑戦するものである。

ABSTRACT

Maximum likelihood estimation is a popular method in statistical inference. As a way of assessing the accuracy of the maximum likelihood estimate (MLE), the calculation of the covariance matrix of the MLE is of great interest in practice. Standard statistical theory shows that the normalized MLE is asymptotically normally distributed with covariance matrix being the inverse of the Fisher information matrix (FIM) at the unknown parameter. Two commonly used estimates for the covariance of the MLE are the inverse of the observed FIM (the same as the inverse Hessian of the negative log-likelihood) and the inverse of the expected FIM (the same as the inverse FIM). Both of the observed and expected FIM are evaluated at the MLE from the sample data. In this dissertation, we demonstrate that, under reasonable conditions similar to standard MLE conditions, the inverse expected FIM outperforms the inverse observed FIM under a mean squared error criterion. Specifically, in an asymptotic sense, the inverse expected FIM (evaluated at the MLE) has no greater mean squared error with respect to the true covariance matrix than the inverse observed FIM (evaluated at the MLE) at the element level. This result is different from widely accepted results showing preference for the observed FIM. In this dissertation, we present theoretical derivations that lead to the conclusion above. We also present numerical studies on three distinct problems to support the theoretical result. This dissertation also includes two appendices on topics of relevance to stochastic systems. The first appendix discusses optimal perturbation distributions for the simultaneous perturbation stochastic approximation (SPSA) algorithm. The second appendix considers Monte Carlo methods for computing FIMs when closed forms are not attainable.

研究の動機と目的

• 最尤推定量の分散共分散行列の推定において、期待 Fisher 情報行列と観測 Fisher 情報行列の性能を評価・比較すること。
• 有限標本および漸近的状況において、期待 FIM よりも観測 FIM を用いた推定量がより低い平均二乗誤差をもたらすかどうかを評価すること。
• 最尤推定における分散共分散行列推定において、観測 FIM が優れているという広く信じられている信念に挑戦すること。
• 標準的な MLE の正則性条件のもとで、期待 FIM の優位性について理論的裏付けと数値的検証を提供すること。
• 閉形式の式が得られない場合の FIM の実用的計算手法を検討すること。

提案手法

• MLE の漸近的分布理論および2次確率的展開に基づく理論的分析。
• 要素レベルにおける観測 FIM の逆行列推定量と期待 FIM の逆行列推定量の平均二乗誤差（MSE）の導出。
• 正則性条件のもとで観測 FIM と期待 FIM が漸近的に同値であることに基づき、MSE の性能を比較すること。
• 3つの異なる統計的モデルにおける数値実験により理論的結果の妥当性を検証すること。
• 閉形式の FIM 表現が得られないモデルにおいて、FIM の計算にモンテカルロ法を応用すること。
• SPSA における確率的近似に適した最適な摂動分布の統合、これは FIM 推定に関連する。

実験結果

リサーチクエスチョン

• RQ1 期待 Fisher 情報行列の逆行列は、最尤推定量の分散共分散行列推定において、観測 FIM の逆行列よりも低い平均二乗誤差を示すか？
• RQ2 期待 FIM が MLE の分散共分散行列推定において MSE の観点で観測 FIM を上回る条件は何か？
• RQ3 有限標本および漸近的状況において、期待 FIM の性能は観測 FIM と比べてどのように異なるか？
• RQ4 標準的な MLE の正則性条件のもとで、2つの推定量の MSE の理論的比較は確立可能か？
• RQ5 実用的な統計的推論において、期待 FIM を観測 FIM の代わりに用いることで生じる影響は何か？

主な発見

• 漸近的状況において、期待 Fisher 情報行列の逆行列の平均二乗誤差は、観測 FIM の逆行列のそれ以上に大きくない。
• 期待 FIM の優位性は、尤度関数の滑らかさと同定可能性を含む、標準的な MLE の正則性条件のもとで成立する。
• 3つの異なるモデルにおける数値的検証により、期待 FIM がより低い MSE をもたらすという理論的予測が確認された。
• この結果は、データから直接計算可能であるため観測 FIM が好まれるという広く受け入れられている見解に反する。
• 両者とも MLE で評価されたとしても、期待 FIM は真の MLE 分散共分散行列の推定において、MSE の観点からより正確な推定量であることが示された。
• 本研究は、標準的誤差推定における期待 FIM の使用を再考する理論的および実証的根拠を提供している。