[論文レビュー] Optimal-order bounds on the rate of convergence to normality for maximum likelihood estimators

Iosif Pinelis|arXiv (Cornell University)|Jan 10, 2016

Mathematical Approximation and Integration参考文献 13被引用数 3

ひとこと要約

本稿では、独立同一分布の確率的ベクトルの和に関する滑らかな関数でMLEをタイトに囲む、独創的なブレケット法を用いて、コルモゴロフ距離および非一様距離における正規分布への収束速度に対する最適順序 $O(1/ar{\sqrt{n}})$ の境界を確立している。この手法により、多変量デルタ法の適用が可能となり、MLEに対する非一様境界の初回の導出が達成された。主な貢献は、制限的なパラメトリック形を仮定しない一般MLEに対する最適順序の非一様境界の導出である。

ABSTRACT

It is well known that under general regularity conditions the distribution of the maximum likelihood estimator (MLE) is asymptotically normal. Very recently, bounds of the optimal order $O(1/\sqrt n)$ on the closeness of the distribution of the MLE to normality in the so-called bounded Wasserstein distance were obtained, where $n$ is the sample size. However, the corresponding bounds on the Kolmogorov distance were only of the order $O(1/n^{1/4})$. In this note, bounds of the optimal order $O(1/\sqrt n)$ on the closeness of the distribution of the MLE to normality in the Kolmogorov distance are given, as well as their nonuniform counterparts, which work better for large deviations of the MLE. These results are based on previously obtained general optimal-order bounds on the rate of convergence to normality in the multivariate delta method. The crucial observation is that, under natural conditions, the MLE can be tightly enough bracketed between two smooth enough functions of the sum of independent random vectors, which makes the delta method applicable.

研究の動機と目的

• 従来の文献では $O(1/n^{1/4})$ のレートにとどまっていたが、MLEのコルモゴロフ距離における最適順序の収束境界を導出することで、このギャップを埋める。
• MLEが独立同一分布の確率的ベクトルの和に関する滑らかな関数の間にタイトにブレケット可能であることを示し、一般MLEに多変量デルタ法を適用可能にする。
• 一様境界を超える、尾領域で有効な非一様境界を提供し、特にMLE分布の尾部でよりタイトな境界を達成する。
• 従来の結果（例：$q(\hat{\theta}) = \frac{1}{n}\sum g(X_i)$）が一般MLE設定では成立しないという制限的仮定を必要としない一般化を達成する。
• 本フレームワークが $M$-推定量に適用可能であり、コーシー分布や非正規の指数・ガンマ分布など重要な分布族をカバーすることを示す（正規分布や極限ケースを除く）。

提案手法

• 自然な正則性条件下で、MLEが独立同一分布の確率的ベクトルの和に関する滑らかな関数の間にタイトにブレケット可能であり、多変量デルタ法の適用が可能となる。
• ブレケット法は陰関数定理と対数尤度の滑らかさに依存し、MLEが標本平均の滑らかな関数の制御された近傍に位置することを保証する。
• 一般多変量デルタ法の先行研究（Pinelis, 2020）を組み合わせることで、コルモゴロフ距離における最適順序 $O(1/\sqrt{n})$ の境界を導出する。
• 非一様境界は、$\mathsf{P}(|\hat{\theta} - \theta_0| > \delta)$ の尾確率を、対数凸性および一般モーメント条件を用いて分析することで構築する。
• MLEが高階微分可能な対数尤度の高階導関数（特に $\ell^{\prime\prime\prime}_{x\theta\theta}$）を介して制御可能な確率的展開を満たすという事実を活用する。
• 重要な技術的ステップとして、比 $\ell^{\prime\prime\prime}_{x\theta\theta}/\ell^{\prime\prime}_{x\theta}$ が $\theta$ のみの関数であることを示し、これにより積分と閉形式のブレケット関数の構築が可能となる。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック形 $q(\hat{\theta}) = \frac{1}{n}\sum g(X_i)$ を仮定しないで、MLEとその漸近正規分布の間のコルモゴロフ距離における最適順序 $O(1/\sqrt{n})$ の境界を確立できるか？
• RQ2 MLEに対して尾領域で有効な非一様境界が存在するか？ また、最適な $O(1/\sqrt{n})$ レートで導出可能か？
• RQ3 独立同一分布の確率的ベクトルの和に関する滑らかな関数の間にタイトにブレケット可能であるという性質により、多変量デルタ法が一般MLEに適用可能か？
• RQ4 本フレームワークはMLEを超えて $M$-推定量へ拡張可能か？
• RQ5 指数型分布族（例：コーシー分布、非正規の指数・ガンマ分布）において、本新規境界が適用可能であるが、従来の結果（例：Pinelis, 2020）では適用不可である例は存在するか？

主な発見

• 本稿では、MLEとその漸近正規分布の間のコルモゴロフ距離における最適順序 $O(1/\sqrt{n})$ の境界を確立し、従来の境界が $O(1/n^{1/4})$ にとどまっていた長年のギャップを解消した。
• MLEに対する非一様境界—従来の文献では未知であった—が導出され、尾領域でよりタイトな境界を達成し、最適な $O(1/\sqrt{n})$ レートを達成した。
• 自然な正則性条件下で、MLEが独立同一分布の確率的ベクトルの和に関する滑らかな関数の間にタイトにブレケット可能であり、多変量デルタ法の適用が可能となった。
• 標本平均の関数として表現可能なMLEにとどまらず、コーシー分布のような位置母数族や非正規の指数・ガンマ分布など、一般MLEにも適用可能である。
• フレームワークは $M$-推定量へ拡張可能であり、MLEに限らない応用範囲の拡大を達成した。
• 結果は鋭い：$O(1/\sqrt{n})$ レートは最適であり、先行研究におけるベルヌーイ分布の例によって示された。