[論文レビュー] Variance Breakdown of Huber (M)-estimators: $n/p ightarrow m \in (1,\infty)$

David L. Donoho, Andrea Montanari|arXiv (Cornell University)|Mar 6, 2015

Statistical Methods and Inference参考文献 8被引用数 14

ひとこと要約

本稿は、$ n/p \to m \in (1,\infty) $ である高次元線形回帰におけるHuber M推定量のミニマックス漸近分散を分析する。$ m \cdot I(F_{\varepsilon}^*) \leq 1 $ のとき分散が崩壊することを示し、臨界崩壊点は $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $ である。これは、固定$ p $、大$ n $の設定ではこのような崩壊が生じない古典的結果と対照的である。

ABSTRACT

A half century ago, Huber evaluated the minimax asymptotic variance in scalar location estimation, $ \min_ψ\max_{F \in {\cal F}_ε} V(ψ, F) = \frac{1}{I(F_ε^*)} $, where $V(ψ,F)$ denotes the asymptotic variance of the $(M)$-estimator for location with score function $ψ$, and $I(F_ε^*)$ is the minimal Fisher information $ \min_{{\cal F}_ε} I(F)$ over the class of $ε$-Contaminated Normal distributions. We consider the linear regression model $Y = Xθ_0 + W$, $W_i\sim_{ ext{i.i.d.}}F$, and iid Normal predictors $X_{i,j}$, working in the high-dimensional-limit asymptotic where the number $n$ of observations and $p$ of variables both grow large, while $n/p ightarrow m \in (1,\infty)$; hence $m$ plays the role of `asymptotic number of observations per parameter estimated'. Let $V_m(ψ,F)$ denote the per-coordinate asymptotic variance of the $(M)$-estimator of regression in the $n/p ightarrow m$ regime. Then $V_m eq V$; however $V_m ightarrow V$ as $m ightarrow \infty$. In this paper we evaluate the minimax asymptotic variance of the Huber $(M)$-estimate. The statistician minimizes over the family $(ψ_λ)_{λ> 0}$ of all tunings of Huber $(M)$-estimates of regression, and Nature maximizes over gross-error contaminations $F \in {\cal F}_ε$. Suppose that $I(F_ε^*) \cdot m > 1$. Then $ \min_λ\max_{F \in {\cal F}_ε} V_m(ψ_λ, F) = \frac{1}{I(F_ε^*) - 1/m} $. Strikingly, if $I(F_ε^*) \cdot m \leq 1$, then the minimax asymptotic variance is $+\infty$. The breakdown point is where the Fisher information per parameter equals unity.

研究の動機と目的

• Huberの古典的ミニマックスロバスト推定枠組みをスカラー位置パラメータから、$ n/p \to m \in (1,\infty) $ の漸近的設定における高次元線形回帰に拡張すること。
• この高次元的設定におけるHuber M推定量のミニマックス漸近分散を同定し、著しい誤差混合の影響を考慮すること。
• Huber推定量の分散が無限大に発散する、つまり混合下で崩壊する臨界点を特定すること。
• 高次元的崩壊行動を、固定$ p $、大$ n $の設定における古典的結果と対比すること。ここでは、このような崩壊は生じない。

提案手法

• サンプルサイズ$ n $とパラメータ数$ p $が共に増加する高次元的漸近的設定を形式化し、$ n/p \to m \in (1,\infty) $ とし、設計行列をi.i.d.標準正規分布とモデル化する。
• この設定におけるHuber M推定量の座標ごとの漸近分散 $ V_m(\psi, F) $ を定義し、古典的 $ V(\psi, F) $ とは区別する。
• ゲーム理論的ミニマックス問題を分析：統計担当者がHuber $ \psi $-関数のチューニングパラメータ $ \lambda $ を選択し、Natureが最悪の混合分布 $ F \in \mathcal{F}_\varepsilon $ を選択する。
• 最小最大分散が $ \min_\lambda \max_{F \in \mathcal{F}_\varepsilon} V_m(\psi_\lambda, F) = \frac{1}{I(F_\varepsilon^*) - 1/m} $ と表され、$ m \cdot I(F_\varepsilon^*) > 1 $ のとき、それ以外では $ \infty $ となることを導出する。
• 固定点方程式が支配する漸近分散の陰関数定理および安定性解析を用いて、最適$ \lambda $の単調性および存在を証明する。
• 臨界混合レベル $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_\varepsilon^*) \geq 1\} $ を確立し、ここですべての崩壊が発生する。

実験結果

リサーチクエスチョン

• RQ1 高次元的設定 $ n/p \to m \in (1,\infty) $ において、Huber M推定量のミニマックス漸近分散は、著しい誤差混合下でどのように振る舞うか？
• RQ2 この設定において、Huber推定量の分散は崩壊するのか？ もしそうなら、どのような条件下で崩壊するか？
• RQ3 最小最大分散が無限大に発散する臨界混合レベル $ \varepsilon^* $ は何か？
• RQ4 高次元的設定におけるHuber推定量の崩壊行動は、固定$ p $、大$ n $の古典的設定とどのように異なるか？
• RQ5 Fisher情報 $ I(F_\varepsilon^*) $ と比 $ m $ は、Huber M推定量の安定性を決定づける役割を果たすか？

主な発見

• $ m \cdot I(F_\varepsilon^*) > 1 $ のとき、$ n/p \to m \in (1,\infty) $ の設定におけるHuber M推定量のミニマックス漸近分散は $ \frac{1}{I(F_\varepsilon^*) - 1/m} $ であり、これは古典的ミニマックス分散よりも厳密に大きい。
• $ m \cdot I(F_\varepsilon^*) \leq 1 $ のとき、ミニマックス分散は無限大に発散し、混合下でHuber推定量が完全に崩壊することを示している。
• 崩壊のための臨界混合レベルは $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_\varepsilon^*) \geq 1\} $ であり、これは漸近的パラメータ1つあたりのサンプルサイズ $ m $ に依存する。
• 崩壊は、パラメータ1つあたりのFisher情報が1に等しくなる、すなわち $ I(F_\varepsilon^*) = 1/m $ のときに正確に発生し、推定量の安定性における相転移を示している。
• 高次元的設定における分散崩壊は、古典的固定$ p $、大$ n $設定には存在しない新現象であり、そのような発散は生じない。
• 解析により、Huber推定量の最適チューニング $ \lambda^* $ が混合レベル $ \varepsilon $ に対して厳密に増加することが証明され、固定点方程式における最適 $ \kappa $-パラメータが有界かつ安定であることが示された。