[논문 리뷰] High Dimensional Robust M-Estimation: Asymptotic Variance via Approximate Message Passing

David L. Donoho, Andrea Montanari|arXiv (Cornell University)|2013. 10. 28.

Random Matrices and Applications참고 문헌 20인용 수 27

한 줄 요약

이 논문은 $n \sim p$ 游태적 점근적 영역에서 고차원적 내성 M-추정량을 분석하기 위해 근사 메시지 전달(AMP) 알고리즘을 도입한다. 이로써 점근적 분산에 고전적 피셔 정보가 포착하지 못한 추가적인 가우시안 노이즈 성분이 있음을 밝혀낸다. 주요 기여는 상태 진동을 통해 이 노이즈를 엄밀하게 특성화한 것으로, 고차원에서 고전적 M-추정 이론이 붕괴되며, 효율적인 추정량을 위해서는 수정된 스코어 함수와 효과적 오차 분포가 필요하다는 것을 보여준다.

ABSTRACT

In a recent article (Proc. Natl. Acad. Sci., 110(36), 14557-14562), El Karoui et al. study the distribution of robust regression estimators in the regime in which the number of parameters p is of the same order as the number of samples n. Using numerical simulations and `highly plausible' heuristic arguments, they unveil a striking new phenomenon. Namely, the regression coefficients contain an extra Gaussian noise component that is not explained by classical concepts such as the Fisher information matrix. We show here that that this phenomenon can be characterized rigorously techniques that were developed by the authors to analyze the Lasso estimator under high-dimensional asymptotics. We introduce an approximate message passing (AMP) algorithm to compute M-estimators and deploy state evolution to evaluate the operating characteristics of AMP and so also M-estimates. Our analysis clarifies that the `extra Gaussian noise' encountered in this problem is fundamentally similar to phenomena already studied for regularized least squares in the setting n

연구 동기 및 목표

• 모수의 수 $p$와 표본 수 $n$이 비례적으로 증가하는 ($n/p \to \delta \in (1,\infty)$) 조건에서 내성 M-추정량의 점근적 행동을 이해하는 것. 이는 현대 대용량 데이터 응용에서 흔한 설정이다.
• 고전적 M-추정 이론—피셔 정보에 기반한 것—이 고차원 환경에서 왜 실패하는지 밝혀내는 것. 여기서 추정량은 예상치 못한 추가 노이즈를 보인다.
• 고차원 점근적 조건 하에서 M-추정량의 점근적 공분산을 계산하고 특성화하기 위해 근사 메시지 전달(AMP)과 상태 진동을 사용한 엄밀한 프레임워크를 개발하는 것.
• 고차원에서 효과적 오차 분포가 진짜 오차 분포와 추가적인 가우시안 성분의 커플렉션임을 보여주는 것. 이는 최적의 스코어 함수를 변화시킨다.
• 고차원 영역에서 고전적 최대우도 추정이 효율적이지 않으며, $n \sim p$ 조건 하에서 피셔 정보 경계를 달성할 수 없다는 것을 보여주는 것.

제안 방법

• 저자들은 고차원 설정에서 M-추정량을 계산하기 위해 특화된 근사 메시지 전달(AMP) 알고리즘을 도입하며, 반복 과정에서 충분통계량을 추적하는 반복 업데이트를 활용한다.
• 상태 진동을 사용하여 AMP 동역학을 분석함으로써, 추정량 성분의 점근적 분포를 기술하는 결정론적 재귀식을 제공한다.
• 고차원 효과로 인해 고전적 $\psi$ 및 $F_W$와 다름을 보이는 효과적 스코어 함수 $\tilde{\psi}$와 효과적 오차 분포 $\tilde{F}_W$를 모델링한다.
• 효과적 오차 분포가 $\tilde{F}_W = F_W \star \mathcal{N}(0, \tau_*^2)$의 형태임을 보여주며, 여기서 $\tau_*^2$는 시스템의 파라미터와 손실 함수에 의해 결정되는 노이즈 분산이다.
• 공분산 $\Gamma_{t,t+1}$과 수렴을 지배하는 함수 $\sf H(q)$를 포함하는 재귀적 상태 진동 프레임워크에 기반하며, $\tau_*$ 및 $b_*$에 대한 固定点 방정식을 유도한다.
• 가우시안 프로세스 표현과 옴스타인-울렌벡 과정의 스펙트럼 분석을 통해 이론적 근거를 제시하며, 상태 진동 재귀식의 수렴성과 단조성 증명한다.

실험 결과

연구 질문

• RQ1 왜 고차원 M-추정량은 고전적 점근적 이론이 예측하지 못한 추가적인 가우시안 노이즈 성분을 보이는가?
• RQ2 $n \sim p$ 조건에서 M-추정량의 점근적 분산은 어떻게 변화하는가? 고전적 피셔 정보 행렬은 무엇으로 대체되는가?
• RQ3 근사 메시지 전달(AMP)과 상태 진동을 사용하여 고차원 M-추정량의 점근적 분포를 엄밀하게 특성화할 수 있는가?
• RQ4 고차원 M-추정에서 효과적 스코어 함수와 효과적 오차 분포의 형태는 무엇이며, 고전적 대응과 어떻게 다를까?
• RQ5 고전적 최대우도 추정은 고차원 영역 $n \sim p$ 에서도 여전히 효율적인가, 아니면 새로운 최적 추정량이 필요한가?

주요 결과

• 고차원 M-추정량의 점근적 공분산 행렬은 $\mathbf{V} = V(\tilde{\psi}, \tilde{F}_W) \cdot \mathbb{E}[\mathbf{X}^T\mathbf{X}]^{-1}$ 의 형태를 가지며, 여기서 $\tilde{F}_W = F_W \star \mathcal{N}(0, \tau_*^2)$ 는 추가적인 가우시안 노이즈 성분을 포함한 커플렉션이다.
• 효과적 스코어 함수 $\tilde{\psi}$ 는 고전적 $\psi = \rho'$ 와 다르며, 고차원 점근적 조건 하에서 최적의 M-추정량은 고전적 최대우도 추정량이 아니다.
• 추가적인 가우시안 노이즈 성분은 고차원 극한에서 기인하며, $\tau_*^2 = \tau_*^2(\psi, F_W, \delta)$ 로 특성화되며, 이는 손실 함수, 오차 분포, 비율 $\delta = n/p$ 에 따라 달라진다.
• 고전적 피셔 정보 경계는 고차원에서는 달성할 수 없으며, $I(\tilde{F}_W) < I(F_W)$ 이므로 최대우도 추정량은 이 영역에서 비효율적임을 의미한다.
• AMP 알고리즘과 상태 진동은 점근적 분산을 엄밀하고 계산 가능한 프레임워크로 제공하며, 그 수렴성은 옴스타인-울렌벡 과정의 스펙트럼 분석을 통해 증명된다.
• 상태 진동 재귀식은 $\sf H'(1) \leq 1$ 인 경우에만 고정점으로 수렴하며, 이 조건은 $\mathbb{E}[\Psi'(W + \tau_* Z; b_*)] = 1/\delta$ 의 제약 조건으로 인해 확보되어 안정성을 보장한다.