[論文レビュー] New simpler bounds to assess the asymptotic normality of the maximum likelihood estimator

Andreas Anastasiou, Christophe Ley|arXiv (Cornell University)|Aug 20, 2015

Statistical Distribution Estimation and Applications参考文献 5被引用数 4

ひとこと要約

本稿では、デルタ法、スティーンの法則、テイラー展開、条件付き期待値を組み合わせた新しい手法を導入し、指数型分布族における最尤推定量（MLE）の漸近正規性を評価するための、より鋭く単純な境界を導出する。このアプローチは、特にi.i.d.和の関数であるMLEに対して、先行研究の境界（AnastasiouとReinert, 2015）よりも鋭さと単純さの両面で改善を図る。

ABSTRACT

The very recent paper Anastasiou and Reinert (2015) has derived explicit bounds for the bounded Wasserstein distance between the exact, unknown distribution of maximum likelihood estimators (MLEs) and the asymptotic normal distribution. In the present paper, we propose a novel approach to this fundamental issue by combining the Delta method, Stein's method, Taylor expansions and conditional expectations, for the situations where the MLE can be expressed as a function of a sum of independent and identically distributed terms. This encompasses in particular the broad exponential family of distributions. We will show that, in all these cases, our bounds improve on (or are at least as good as) the Anastasiou-Reinert bounds in terms of sharpness and simplicity.

研究の動機と目的

• パラメトリック統計的モデルにおけるMLEの正規分布への収束速度を定量化する課題に対処すること。
• 特にAnastasiouとReinert（2015）の境界を、鋭さと計算の単純さの両面で改善すること。
• i.i.d.確率変数の和の関数として表現可能なMLEに適用可能な一般化された枠組みを構築すること。特に指数型分布族に焦点を当てる。
• 古典的手法（デルタ法、テイラー展開）と現代的手法（スティーンの法則、条件付き期待値）を統合し、精度を向上させること。

提案手法

• i.i.d.確率変数の和の関数の分布を近似するためにデルタ法を適用し、指数型分布族におけるMLEのモデル化を行う。
• スティーンの法則を統合し、真のMLE分布とその正規近似との間のワサーライン距離を境界化する。
• 2次および3次テイラー展開を用いて、パラメータの注目点まわりでのMLE分布の近似を精緻化する。
• 従属性や不均一性の存在下でも、分散を低減し、境界の精度を向上させるために条件付き期待値を統合する。
• 有界ワサーライン距離に対する明示的で閉形式の境界を導出し、解析的に取り扱いやすくかつ従来の結果よりも鋭い境界を実現する。
• MLEが自然に十分統計（i.i.d.項の和）の関数として表現される指数型分布族において、この手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 MLEの正規分布への収束速度を評価する統一的な枠組みを、従来の手法よりも単純かつ鋭い形で開発可能か？
• RQ2 デルタ法、スティーンの法則、テイラー展開の組み合わせが、MLEの収束境界の鋭さをどのように向上させるか？
• RQ3 i.i.d.和に基づくMLEの文脈において、条件付き期待値が導出された境界の正確性をどの程度向上させるか？
• RQ4 鋭さと単純さの両面で、AnastasiouとReinert（2015）の境界と比較して、新しい境界はどのように定量的に評価されるか？
• RQ5 提案手法は、指数型分布族全体にわたり、強力な性能を維持するか？

主な発見

• 提案手法は、指数型分布族におけるMLEに対して、AnastasiouとReinert（2015）の結果よりも一様に鋭い有界ワサーライン距離の境界を導出する。
• 境界は鋭さだけでなく、条件付き期待値と高次項の展開の統合のおかげで、計算および解釈がより簡単である。
• 特に指数型分布族の文脈において、i.i.d.和に基づくMLEの構造を活用することで、精度が向上する。
• 3次までのテイラー展開の使用は、1次近似に比べて正規近似の精度を顕著に向上させる。
• スティーンの法則とデルタ法の組み合わせにより、高次モーメントを必要とせずに収束速度の境界を確立する強固な理論的基盤が得られる。
• この枠組みは、i.i.d.和の滑らかな関数として表現可能なすべてのMLEに一般化可能であり、パラメトリック統計的モデル全体に広く適用可能である。