[論文レビュー] Statistical Inference with Local Optima

Yen‐Chi Chen|arXiv (Cornell University)|Jul 12, 2018

Statistical Methods and Inference参考文献 44被引用数 4

ひとこと要約

本稿は、非凸で多峰性を持つ尤度関数において、複数のランダム初期値を用いた勾配上昇による推定器の統計的推論を検討する。このような推定器が標本に収束する母集団量を同定し、有限の初期値数による信頼区間のカバレッジ不足を分析し、MLEが計算不能な場合の二標本検定を提案する。主な貢献は、局所最適解における推定器の極限的挙動および信頼区間の妥当性に関する理論的特徴付けである。

ABSTRACT

We study the statistical properties of an estimator derived by applying a gradient ascent method with multiple initializations to a multi-modal likelihood function. We derive the population quantity that is the target of this estimator and study the properties of confidence intervals (CIs) constructed from asymptotic normality and the bootstrap approach. In particular, we analyze the coverage deficiency due to finite number of random initializations. We also investigate the CIs by inverting the likelihood ratio test, the score test, and the Wald test, and we show that the resulting CIs may be very different. We propose a two-sample test procedure even when the MLE is intractable. In addition, we analyze the performance of the EM algorithm under random initializations and derive the coverage of a CI with a finite number of initializations.

研究の動機と目的

• 多峰性を持つ尤度関数において、複数のランダム初期値を用いた勾配上昇による推定器の統計的性質を理解すること。
• 特に、グローバルMLEではなく局所最適解に収束する場合に、このような推定器が標本に収束する母集団量を同定すること。
• 漸近正規性、ブートストラップ、および尤度比、スコア、Wald検定に基づく信頼区間のカバレッジ特性を分析すること。
• 有限の初期値数による信頼区間のカバレッジ不足を定量化すること。
• 非凸性のためMLEが計算不能な場合に、二標本検定手順を提案すること。

提案手法

• 理論的解析を用いて、多峰性尤度関数における複数初期値付き勾配上昇推定器が標本に収束する母集団量を導出する。
• 漸近正規性およびブートストラップに基づく信頼区間を分析し、初期値数が有限であるためカバレッジが不足する可能性があることを示す。
• 尤度比、スコア、Waldの3つの検定に基づく信頼区間を比較し、局所最適解下で顕著に異なる結果をもたらすことを実証する。
• 集中不等式およびHoeffdingの不等式を用いて、有限初期値下でのグローバルモードの欠落確率を評価する。
• イベントベース解析（E1, E2, E3, E4）を導入し、密度および勾配推定値のバイアスと推定誤差をカバレッジ確率の誤差項に統合する。
• 信頼区間のカバレッジ確率の下界を導出し、それが $1 - \alpha - (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n + O(\sqrt{1/(nh^{d+2})}) + O(\sqrt{nh^{d+6}})$ 以上であることを示す。

Figure 1: Log-likelihood function of fitting a 2-Gaussian mixture model to a data that is generated from a 3-Gaussian mixture model. The true distribution has a density function: $p_{0}(x)=0.5\phi(x;0,0.2^{2})+0.45\phi(x;0.75,0.2^{2})+0.05\phi(x;3,0.2^{2})$ , where $\phi(x;\mu,\sigma^{2})$ is the de

実験結果

リサーチクエスチョン

• RQ1 尤度関数が多峰性を持つ場合、複数のランダム初期値を用いた勾配上昇推定器が標本に収束する母集団量は何か？
• RQ2 有限の初期値数が、漸近正規性またはブートストラップに基づく信頼区間のカバレッジ確率にどのように影響するか？
• RQ3 MLEが達成されない場合、尤度比、スコア、Wald検定に基づく信頼区間のカバレッジはどのように比較されるか？
• RQ4 推定器が真のMLEでなく、局所最適解に収束する場合、信頼区間の理論的カバレッジ保証は何か？
• RQ5 非凸性のためMLEが計算不能な場合に、二標本検定を構築可能か？その理論的性質は何か？

主な発見

• 複数のランダム初期値を用いた推定器は、グローバルMLEではなく初期値分布に依存する局所モードを標本に収束する母集団量を標的とする。
• 漸近正規性またはブートストラップに基づく信頼区間は、初期値数が有限であるためカバレッジ不足を示し、カバレッジ確率は $1 - \alpha - (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n + O(\sqrt{1/(nh^{d+2})}) + O(\sqrt{nh^{d+6}})$ 以上に下界される。
• 尤度比、スコア、Wald検定に基づく信頼区間は顕著に異なるカバレッジを示し、局所最適解下での検定選択の感受性を強調する。
• 有限初期値下でのグローバルモードの欠落確率は $ (1 - \frac{1}{3}P(\mathcal{A}_{\sf mode}))^n $ で抑えられ、標本サイズ $n$ とともに指数的に減少する。
• 提案された二標本検定は、MLEが計算不能な場合でも有効であり、非凸モデルにおける推論の実用的代替手段を提供する。
• 理論的カバレッジ境界から、カバレッジ不足はグローバルモードの欠落確率に支配され、ややいなめの正則性条件の下で指数的に小さくなることが示される。

Figure 3: A modal regression method to the mixture regression problem. Left: we display a data generated by a 4-mixture regression model. Right: the objective function of the linear modal regression as a function of the parameter $\theta$ . The three red vertical lines display the boundary of basins