[논문 리뷰] Asymptotic behavior of unregularized and ridge-regularized high-dimensional robust regression estimators : rigorous results

Noureddine El Karoui|arXiv (Cornell University)|2013. 11. 11.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 85

한 줄 요약

이 논문은 $ p/n \to c \in (0, \infty) $ 인 설정에서 고차원 로버스트 회귀 추정량(정규화되지 않은 경우와 릿지 정규화된 경우 모두)의 점근적 행동을 엄밀하게 규명한다. 무작위 행렬 이론, 측도의 농도, 볼록 해석학 도구를 사용하여, 추정량의 점근적 분포가 비율 $ p/n $ 에 의존하며, 이는 비정규 분포 설계에 대해서도 이전의 확률적 힌트를 엄밀한 수학적 근거로 뒷받침한다.

ABSTRACT

We study the behavior of high-dimensional robust regression estimators in the asymptotic regime where $p/n$ tends to a finite non-zero limit. More specifically, we study ridge-regularized estimators, i.e $\widehatβ= ext{argmin}_{β\in \mathbb{R}^p} \frac{1}{n}\sum_{i=1}^n ρ(\varepsilon_i-X_i' β)+\fracτ{2}\lVertβ Vert^2$. In a recently published paper, we had developed with collaborators probabilistic heuristics to understand the asymptotic behavior of $\widehatβ$. We give here a rigorous proof, properly justifying all the arguments we had given in that paper. Our proof is based on the probabilistic heuristics we had developed, and hence ideas from random matrix theory, measure concentration and convex analysis. While most the work is done for $τ>0$, we show that under some extra assumptions on $ρ$, it is possible to recover the case $τ=0$ as a limiting case. We require that the $X_i$'s be i.i.d with independent entries, but our proof handles the case where these entries are not Gaussian. A 2-week old paper of Donoho and Montanari [arXiv:1310.7320] studied a similar problem by a different method and with a different point of view. At this point, their interesting approach requires Gaussianity of the design matrix.

연구 동기 및 목표

• 고차원 로버스트 회귀 추정량에 대해 이전에 제안된 확률적 힌트를 $ p/n \to c \in (0, \infty) $ 설정에서 엄밀하게 정당화하는 것.
• 비정규 분포를 가진 일반적인 i.i.d. 설계 행렬 하에서 릿지 정규화된 M-추정량의 점근적 행동을 규명하는 것.
• 손실 함수 $ \rho $ 에 추가적인 정규성 조건을 가정할 경우, 비정규화된 경우($ \tau = 0 $)를 릿지 정규화된 경우의 극한으로 회복할 수 있도록 하는 것.
• 이전 힌트 분석에서 유도된 변분 문제 공식화에 대한 공식적인 수학적 기초를 제공하는 것.
• 추정량의 점근적 행동이 고전적 고정-$ p $ 점근적 해석과는 달리 비차원 비율 $ p/n $ 에 비트리비얼하게 의존한다는 것을 보여주는 것.

제안 방법

• 고차원 설정에서 추정량의 행동을 분석하기 위해 떠나는 한 개의 관측치 기법과 마틴갈 기법을 사용한다.
• 설계 행렬을 포함하는 이차 형식의 변동성을 제어하기 위해 측도의 농도와 무작위 행렬 이론을 적용한다.
• 최적화 문제의 해를 서gradient 조건을 통해 특성화하기 위해 프록시멀 매핑 프레임워크를 적용한다.
• 오차의 분포와 손실 함수 $ \rho $ 를 바탕으로, 추정량의 점근적 행동을 특성화하는 핵심 변분 문제를 유도한다.
• 정규화된 정밀도 행렬을 포함하는 추적 표현을 분석하기 위해 Sherman-Morrison-Woodbury 공식과 블록 행렬 역행렬을 활용한다.
• 점근적 특성화에서 나타나는 임계 방정식 $ F(x) = 0 $ 의 해가 존재하고 유일함을 증명한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 릿지 정규화된 로버스트 회귀 추정량의 점근적 분포는 비율 $ p/n $ 에 어떻게 의존하는가?
• RQ2 이전 연구에서 제안된 확률적 힌트는 무작위 행렬 이론과 측도의 농도와 같은 엄밀한 도구를 사용해 공식적으로 정당화될 수 있는가?
• RQ3 손실 함수 $ \rho $ 와 오차 분포에 어떤 조건이 필요하면 비정규화된 경우($ \tau = 0 $)가 릿지 정규화된 경우의 극한으로 회복될 수 있는가?
• RQ4 결과는 정규 분포 설계 행렬을 초월해 어느 정도 일반화될 수 있으며, 비정규 분포 i.i.d. 요소에 대해 필요한 가정은 무엇인가?
• RQ5 추정량의 점근적 행동은 손실 함수 $ \rho $ 의 프록시멀 매핑과 어떻게 관련이 있으며, 오차 분포는 어떤 역할을 하는가?

주요 결과

• 릿지 정규화된 추정량의 점근적 행동은 $ \rho $ 의 프록시멀 매핑을 포함하는 변분 문제의 해에 의존하며, 이는 비율 $ p/n $ 에 비트리비얼하게 의존한다.
• 논문은 추정량의 점근적 분포가 오차의 누적분포함수와 손실 함수 $ \rho $ 를 포함하는 결정론적 방정식의 해로 특성화됨을 엄밀히 증명한다.
• 비정규 분포 i.i.d. 설계 행렬에 대해서도, 미묘한 모멘트와 尾 조건이 충족되면 점근적 행동은 여전히 다룰 수 있으며, 이는 이전 연구에서 사용된 정규 분포 가정을 초월한다.
• 비정규화된 경우($ \tau = 0 $)는 $ \rho $ 에 추가적인 매끄러움과 대칭성 가정이 있을 경우 릿지 정규화된 추정량의 극한으로 회복될 수 있다.
• 정규화된 정밀도 행렬의 추적은 $ p/n $ 에 따라 의존하는 결정론적 극한으로 수렴하며, 행렬 역행렬 항등식을 통해 명시적 경계가 유도된다.
• 점근적 행동을 지배하는 방정식 $ F(x) = 0 $ 의 해는 오차 밀도와 손실 함수 $ \rho $ 에 대한 미약한 정규성 조건 하에서 유일하다.