[論文レビュー] High Dimensional Robust M-Estimation: Asymptotic Variance via Approximate Message Passing

David L. Donoho, Andrea Montanari|arXiv (Cornell University)|Oct 28, 2013

Random Matrices and Applications参考文献 20被引用数 27

ひとこと要約

本稿は、$n \sim p$ 渐近的枠組み下での高次元ロバストM推定量の分析を目的とした近似メッセージパッシング（AMP）アルゴリズムを導入し、漸近的分散に古典的フィッシャー情報が捉えられない追加のガウスノイズ成分が存在することを明らかにした。主な貢献は、状態遷移を用いたこのノイズの厳密な特徴付けであり、高次元では古典的M推定量理論が破綻することを示し、効率的な推定量には修正されたスコア関数と有効誤差分布が必要であることを示している。

ABSTRACT

In a recent article (Proc. Natl. Acad. Sci., 110(36), 14557-14562), El Karoui et al. study the distribution of robust regression estimators in the regime in which the number of parameters p is of the same order as the number of samples n. Using numerical simulations and `highly plausible' heuristic arguments, they unveil a striking new phenomenon. Namely, the regression coefficients contain an extra Gaussian noise component that is not explained by classical concepts such as the Fisher information matrix. We show here that that this phenomenon can be characterized rigorously techniques that were developed by the authors to analyze the Lasso estimator under high-dimensional asymptotics. We introduce an approximate message passing (AMP) algorithm to compute M-estimators and deploy state evolution to evaluate the operating characteristics of AMP and so also M-estimates. Our analysis clarifies that the `extra Gaussian noise' encountered in this problem is fundamentally similar to phenomena already studied for regularized least squares in the setting n

研究の動機と目的

• パラメータ数$p$と標本数$n$が比例して増加する($n/p \to \delta \in (1,\infty)$)状況、すなわち現代のビッグデータ応用で一般的な設定において、ロバストM推定量の漸近的挙動を理解すること。
• 古典的M推定量理論（フィッシャー情報に基づく）が高次元設定でなぜ失敗するのかを特定すること。特に、推定量が予期しない追加のノイズを示す理由を解明すること。
• 高次元漸近的枠組み下でM推定量の漸近的共分散を計算・特徴付けるため、近似メッセージパッシング（AMP）と状態遷移を用いた厳密なフレームワークを構築すること。
• 高次元において有効誤差分布が、真の誤差分布と追加のガウス成分の畳み込みであることを示し、最適スコア関数がどのように変化するかを明らかにすること。
• 古典的最尤推定が高次元設定($n \sim p$)においても有効であるかどうかを検証し、フィッシャー情報境界が達成可能でないことを示すこと。

提案手法

• 著者らは、高次元設定下でのM推定量の計算に特化した近似メッセージパッシング（AMP）アルゴリズムを導入し、反復更新により各反復における十分統計を追跡する。
• 状態遷移を用いてAMPのダイナミクスを分析し、推定量の成分の漸近的分布を特徴付ける決定的再帰式を提供する。
• 高次元効果に起因する、古典的$\psi$および$F_W$とは異なる有効スコア関数$\tilde{\psi}$と有効誤差分布$\tilde{F}_W$をモデル化する。
• 有効誤差分布が$\tilde{F}_W = F_W \star \mathcal{N}(0, \tau_*^2)$の畳み込みとして表され、$\tau_*^2$はシステムのパラメータと損失関数に依存するノイズ分散であることを示した。
• 共分散$\Gamma_{t,t+1}$と収束を支配する関数$\sf H(q)$を含む、再帰的状態遷移フレームワークに依拠し、$\tau_*$および$b_*$の固定点方程式を導出する。
• ガウス過程表現とオーナイユール過程のスペクトル解析を用いて理論的裏付けを提供し、状態遷移再帰式の収束性および単調性を証明した。

実験結果

リサーチクエスチョン

• RQ1 なぜ高次元M推定量は、古典的漸近理論で予測されない追加のガウスノイズ成分を示すのか？
• RQ2 $n \sim p$の下でM推定量の漸近的分散はどのように変化するのか？また、古典的フィッシャー情報行列に代わって何が現れるのか？
• RQ3 近似メッセージパッシング（AMP）と状態遷移を用いて、高次元M推定量の漸近的分布を厳密に特徴付けることができるか？
• RQ4 高次元M推定量における有効スコア関数および有効誤差分布の形は何か？また、古典的対応物とはどのように異なるか？
• RQ5 古典的最尤推定は高次元的枠組み$n \sim p$においても有効であるのか？それとも新たな最適推定量が必要となるのか？

主な発見

• 高次元M推定量の漸近的共分散行列は、$\mathbf{V} = V(\tilde{\psi}, \tilde{F}_W) \cdot \mathbb{E}[\mathbf{X}^T\mathbf{X}]^{-1}$の形をとり、ここで$\tilde{F}_W = F_W \star \mathcal{N}(0, \tau_*^2)$は追加のガウスノイズ成分を含む畳み込みである。
• 有効スコア関数$\tilde{\psi}$は古典的$\psi = \rho'$とは異なり、高次元漸近的枠組み下での最適M推定量は古典的最尤推定量ではない。
• 追加のガウスノイズ成分は高次元極限に起因し、$\tau_*^2 = \tau_*^2(\psi, F_W, \delta)$として特徴付けられ、損失関数、誤差分布、および比$\delta = n/p$に依存する。
• 古典的フィッシャー情報境界は高次元では達成不可能であり、$I(\tilde{F}_W) < I(F_W)$であるため、最尤推定量はこの設定で非効率的である。
• AMPアルゴリズムと状態遷移は、漸近的分散を厳密かつ計算可能に評価するフレームワークを提供し、オーナイユール過程のスペクトル解析により収束が証明された。
• 状態遷移再帰式は、$\sf H'(1) \leq 1$を満たす場合にのみ固定点に収束するが、この条件は制約$\mathbb{E}[\Psi'(W + \tau_* Z; b_*)] = 1/\delta$により満たされ、安定性が保証される。