[論文レビュー] High Dimensional Expectation-Maximization Algorithm: Statistical Optimization and Asymptotic Normality

Zhaoran Wang, Quanquan Gu+2 more|arXiv (Cornell University)|Dec 30, 2014

Statistical Methods and Inference参考文献 42被引用数 32

ひとこと要約

本稿は、EステップおよびMステップの両方で切断を適用することでスパarsityを強制する高次元EMアルゴリズムを提案する。これにより、幾何的収束が達成され、近似的に最適な推定量に収束し、統計的収束速度が √(s* log d / n) のオーダーとなる。さらに、非相関スコア統計量およびWald統計量の漸近正規性を確立し、高次元のノイズパラメータが存在する中でも低次元成分に対する最適な推論が可能になる。

ABSTRACT

We provide a general theory of the expectation-maximization (EM) algorithm for inferring high dimensional latent variable models. In particular, we make two contributions: (i) For parameter estimation, we propose a novel high dimensional EM algorithm which naturally incorporates sparsity structure into parameter estimation. With an appropriate initialization, this algorithm converges at a geometric rate and attains an estimator with the (near-)optimal statistical rate of convergence. (ii) Based on the obtained estimator, we propose new inferential procedures for testing hypotheses and constructing confidence intervals for low dimensional components of high dimensional parameters. For a broad family of statistical models, our framework establishes the first computationally feasible approach for optimal estimation and asymptotic inference in high dimensions. Our theory is supported by thorough numerical results.

研究の動機と目的

• 従来のEMアルゴリズムが理論的保証を欠く高次元潜在変数モデルにおける計算と統計のギャップを埋める。
• スパarsity仮定の下で、計算的に実行可能かつ統計的に最適な高次元パラメータ推定手順を開発する。
• 高次元パラメータの低次元成分に対する妥当な統計的推論（特に仮説検定および信頼区間の構築）を可能にする。
• 統一されたフレームワークのもとで、同時に計算的（幾何的収束）および統計的（近似的ミニマックスレート）保証を確立する。
• スパarsity促進のための切断ステップを組み込んだEMアルゴリズムを高次元設定に拡張し、一貫性および最適性を保証する。

提案手法

• EステップおよびMステップの両方で切断を適用することで、パラメータ推定量のスパarsityを強制する新しい高次元EMアルゴリズムを導入する。
• 真のパラメータに近い近傍に収束を保証するため、相対誤差が定数 κ ∈ (0, 1) で有界な初期化を用いる。
• 最適化誤差が率 ρ^t/2 で減少し、統計的誤差が率 √(s* log d / n) で減少する2項誤差バインディングにより、幾何的収束を確立する。
• 高次元のノイズパラメータが低次元成分の推論に与える影響を排除するために、非相関スコア統計量およびWald統計量を提案する。
• 非相関統計量の漸近正規性を活用し、半パラメトリック情報量の下限に達する信頼区間を構築する。
• 一般化された解析により、ガウス・ミックスチャージ、混合回帰、欠損共変量を伴う回帰など複数のモデルに適用可能なフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 EMアルゴリズムは、高次元潜在変数モデルにおいて幾何的収束および最適な統計的収束速度を達成するために適応可能か？
• RQ2 d ≫ n の下で、スパarsityをEMフレームワーク内で効果的に強制する方法は何か？
• RQ3 高次元のノイズパラメータが存在する中でも、高次元パラメータの低次元成分に対する妥当な信頼区間を構築することは可能か？
• RQ4 提案された非相関スコア統計量およびWald統計量は、高次元設定下で漸近正規性および最適分散を達成するか？
• RQ5 最適化および統計的効率性の観点から、高次元EMアルゴリズムに対してどのような理論的保証を確立できるか？

主な発見

• 提案された高次元EMアルゴリズムは、推定量の誤差が ∆1 · ρ^t/2 + ∆2 · √(s* log d / n) で有界であることを保証し、幾何的収束を達成し、(近似的に)最適な統計的収束速度を達成する。
• 最適化誤差は幾何的収束率 ρ^t/2 で減少し、初期化が相対誤差 κ ∈ (0, 1) の範囲にある場合、収束が速くなる。
• 統計的誤差項 ∆2 · √(s* log d / n) は、高次元スパース推定における(近似的に)ミニマックス最適レートと一致する。
• 非相関スコア統計量およびWald統計量は漸近正規であり、半パラメトリック情報量の下限に達し、低次元成分の推論における最適分散を保証する。
• フレームワークは正確なMステップおよび近似Mステップの両方をサポートしており、勾配上昇法を含む計算上の柔軟性を向上させる。
• 数値結果により理論的予想が検証され、ガウス・ミックスチャージモデル、混合回帰、欠損共変量を伴う回帰の各分野でアルゴリズムの有効性が示された。