[논문 리뷰] Variance Breakdown of Huber (M)-estimators: $n/p ightarrow m \in (1,\infty)$

David L. Donoho, Andrea Montanari|arXiv (Cornell University)|2015. 03. 06.

Statistical Methods and Inference참고 문헌 8인용 수 14

한 줄 요약

이 논문은 고차원 선형 회귀에서 샘플 크기 대 매개변수 수의 비율 $ n/p \to m \to (1,\infty) $ 인 경우 허버 M-추정량의 최소최대 점근적 분산을 분석한다. 분산이 붕괴되는 조건은 $ m \cdot I(F_{\varepsilon}^*) \leq 1 $ 일 때이며, 임계 붕괴점은 $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $ 로서, 고전적 결과와 대비되는데, 고전적 결과에서는 고정된 $ p $, 큰 $ n $ 설정에서는 이러한 붕괴가 발생하지 않는다.

ABSTRACT

A half century ago, Huber evaluated the minimax asymptotic variance in scalar location estimation, $ \min_ψ\max_{F \in {\cal F}_ε} V(ψ, F) = \frac{1}{I(F_ε^*)} $, where $V(ψ,F)$ denotes the asymptotic variance of the $(M)$-estimator for location with score function $ψ$, and $I(F_ε^*)$ is the minimal Fisher information $ \min_{{\cal F}_ε} I(F)$ over the class of $ε$-Contaminated Normal distributions. We consider the linear regression model $Y = Xθ_0 + W$, $W_i\sim_{ ext{i.i.d.}}F$, and iid Normal predictors $X_{i,j}$, working in the high-dimensional-limit asymptotic where the number $n$ of observations and $p$ of variables both grow large, while $n/p ightarrow m \in (1,\infty)$; hence $m$ plays the role of `asymptotic number of observations per parameter estimated'. Let $V_m(ψ,F)$ denote the per-coordinate asymptotic variance of the $(M)$-estimator of regression in the $n/p ightarrow m$ regime. Then $V_m eq V$; however $V_m ightarrow V$ as $m ightarrow \infty$. In this paper we evaluate the minimax asymptotic variance of the Huber $(M)$-estimate. The statistician minimizes over the family $(ψ_λ)_{λ> 0}$ of all tunings of Huber $(M)$-estimates of regression, and Nature maximizes over gross-error contaminations $F \in {\cal F}_ε$. Suppose that $I(F_ε^*) \cdot m > 1$. Then $ \min_λ\max_{F \in {\cal F}_ε} V_m(ψ_λ, F) = \frac{1}{I(F_ε^*) - 1/m} $. Strikingly, if $I(F_ε^*) \cdot m \leq 1$, then the minimax asymptotic variance is $+\infty$. The breakdown point is where the Fisher information per parameter equals unity.

연구 동기 및 목표

• 허버의 고전적 최소최대 강건 추정 프레임워크를 스칼라 위치에서 고차원 선형 회귀로 확장하여 $ n/p \to m \in (1,\infty) $ 점근적 설정에서 적용한다.
• 이 고차원 설정에서 허버 M-추정량의 최소최대 점근적 분산을 특성화하며, 심각한 오차 오염을 고려한다.
• 허버 추정량의 분산이 무한대가 되는 붕괴가 발생하는 임계점을 규명한다.
• 고차원에서의 붕괴 행동을 고정된 $ p $, 큰 $ n $ 설정에서의 고전적 결과와 대비한다. 여기서는 이러한 붕괴가 발생하지 않는다.

제안 방법

• 고차원 점근적 설정을 정의하여 $ n $ 과 $ p $ 가 $ n/p \to m \in (1,\infty) $ 인 방식으로 증가함을 모델링하며, 설계 행렬을 i.i.d. 표준 정규로 가정한다.
• 이 설정에서 허버 M-추정량의 좌표별 점근적 분산 $ V_m(\psi, F) $ 를 정의하며, 고전적 $ V(\psi, F) $ 와 이를 구별한다.
• 게임 이론적 최소최대 문제를 분석: 통계학자는 허버 $ \psi $-함수의 튜닝 파라미터 $ \lambda $ 를 선택하고, 자연은 악성 오염 분포 $ F \in \mathcal{F}_\varepsilon $ 중 최악의 경우를 선택한다.
• 최소최대 분산을 $ m \cdot I(F_\varepsilon^*) > 1 $ 일 때 $ \min_\lambda \max_{F \in \mathcal{F}_\varepsilon} V_m(\psi_\lambda, F) = \frac{1}{I(F_{\varepsilon}^*) - 1/m} $ 로 유도하며, 그 외의 경우에는 $ \infty $ 임을 밝힌다.
• 점근적 분산을 지배하는 고정점 방정식의 은밀한 함수 정리와 안정성 분석을 활용하여 최적 $ \lambda $ 의 존재성과 단조성 증명.
• 임계 오염 수준 $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $ 를 확립하며, 이는 붕괴가 발생하는 지점이다.

실험 결과

연구 질문

• RQ1 고차원 설정 $ n/p \to m \in (1,\infty) $ 에서 심각한 오차 오염 하에 허버 M-추정량의 최소최대 점근적 분산은 어떻게 행동하는가?
• RQ2 이 설정에서 허버 추정량의 분산이 붕괴되는가? 만약 그렇다면 어떤 조건에서 붕괴되는가?
• RQ3 최소최대 분산이 무한대가 되는 임계 오염 수준 $ \varepsilon^* $ 는 무엇인가?
• RQ4 허버 추정량의 고차원 붕괴 행동은 고정된 $ p $, 큰 $ n $ 설정과 어떻게 다를까?
• RQ5 Fisher 정보 $ I(F_\varepsilon^*) $ 와 비율 $ m $ 이 허버 M-추정량의 안정성 결정에 어떤 역할을 하는가?

주요 결과

• 비율 $ n/p \to m \in (1,\infty) $ 인 설정에서 허버 M-추정량의 최소최대 점근적 분산은 $ m \cdot I(F_{\varepsilon}^*) > 1 $ 일 때 $ \frac{1}{I(F_{\varepsilon}^*) - 1/m} $ 이며, 이는 고전적 최소최대 분산보다 엄밀히 크다.
• $ m \cdot I(F_{\varepsilon}^*) \leq 1 $ 일 때 최소최대 분산은 무한대로 발산하여 오염 하에서 허버 추정량의 완전한 붕괴를 나타낸다.
• 붕괴의 임계 오염 수준은 $ \varepsilon^* = \inf\{\varepsilon : m \cdot I(F_{\varepsilon}^*) \geq 1\} $ 이며, 이는 점근적 매개변수당 표본 크기 $ m $ 에 따라 달라진다.
• 붕괴는 정확히 매개변수당 Fisher 정보가 1이 될 때 발생하며, 이는 추정량 안정성의 단계 전이를 나타낸다.
• 고차원 설정에서의 분산 붕괴는 고전적 고정된 $ p $, 큰 $ n $ 설정에서는 존재하지 않는 새로운 현상이며, 여기서는 이러한 발산이 발생하지 않는다.
• 분석을 통해 최적 튜닝 $ \lambda^* $ 가 오염 수준 $ \varepsilon $ 에 대해 엄밀히 증가함을 증명하였으며, 고정점 방정식의 최적 $ \kappa $-파rameter는 유계이고 안정적임을 규명하였다.