[논문 리뷰] Robust Estimation of High-Dimensional Mean Regression

Jianqing Fan, Quefeng Li외 1명|arXiv (Cornell University)|2014. 10. 08.

Statistical Methods and Inference참고 문헌 25인용 수 18

한 줄 요약

이 논문은 무거운 尾를 가진 오차 분포 하에서 고차원 평균 회귀를 위해 안정적이고 고차원적인 추정을 가능하게 하는, 발산하는 조정 파rameter를 갖춘 페널티 허버 손실 추정기인 RA-Lasso를 제안한다. 허버 손실을 조정하여 편향을 줄이고, 두 번째 모멘트만 존재하는 경우에도 최적의 수렴 속도를 확보함으로써, RA-Lasso는 경량 꼬리 설정에서와 동일한 최적의 $L_2$ 오차 속도를 달성하며, 평균 추정에 대해 지수 집중성을 유지한다.

ABSTRACT

Data subject to heavy-tailed errors are commonly encountered in various scientific fields, especially in the modern era with explosion of massive data. To address this problem, procedures based on quantile regression and Least Absolute Deviation (LAD) regression have been devel- oped in recent years. These methods essentially estimate the conditional median (or quantile) function. They can be very different from the conditional mean functions when distributions are asymmetric and heteroscedastic. How can we efficiently estimate the mean regression functions in ultra-high dimensional setting with existence of only the second moment? To solve this problem, we propose a penalized Huber loss with diverging parameter to reduce biases created by the traditional Huber loss. Such a penalized robust approximate quadratic (RA-quadratic) loss will be called RA-Lasso. In the ultra-high dimensional setting, where the dimensionality can grow exponentially with the sample size, our results reveal that the RA-lasso estimator produces a consistent estimator at the same rate as the optimal rate under the light-tail situation. We further study the computational convergence of RA-Lasso and show that the composite gradient descent algorithm indeed produces a solution that admits the same optimal rate after sufficient iterations. As a byproduct, we also establish the concentration inequality for estimat- ing population mean when there exists only the second moment. We compare RA-Lasso with other regularized robust estimators based on quantile regression and LAD regression. Extensive simulation studies demonstrate the satisfactory finite-sample performance of RA-Lasso.

연구 동기 및 목표

• 오차 분포가 경량 꼬리가 아닌 유한한 두 번째 모멘트만 갖는 경우 고차원 평균 회귀를 추정하는 문제에 대응한다.
• 기존의 허버 손실이 평균 회귀에서 유도하는 편향을 제거하기 위해 조정 파rameter를 발산시키는 방식으로 이를 해결한다.
• 중위수/분위수 함수가 아닌 조건부 평균 함수를 추정하는 강건한 정규화 방법을 개발한다. 이는 오차 분포가 비대칭이거나 이방성일 경우에 특히 중요하다.
• 차원 수가 표본 크기와 함께 지수적으로 증가하는 초고차원 설정에서 추정기의 이론적 최적성(optimality)을 확립한다.
• 오직 두 번째 모멘트 존재성만을 가정할 때도 평균 추정에 대해 농도 부등식을 수립함으로써, 카토니의 작업을 고차원 희소 선형 모델로 확장한다.

제안 방법

• 편향을 줄이기 위해 발산하는 파rameter를 사용하는 $L_1$-페널티 허버 손실을 기반으로 한, 보정된 근사 제곱 손실(RA-quadratic 손실)을 제안하며, 이를 RA-Lasso라 명명한다.
• 표본 크기 $n \to \infty$일 때 $\alpha \to \infty$가 되도록 허버 조정 파ram터 $\alpha$를 발산시키어 평균 추정에서의 편향을 감소시킨다.
• RA-Lasso 최적화 문제를 해결하기 위해 복합 경사 하강법을 적용하고, 충분한 반복 후 최적 속도로 수렴함을 증명한다.
• 허버 손실 도함수의 이阶 테일러 전개를 활용하여 추정 오차를 유계하고 농도 성질을 도출한다.
• RA-Lasso 손실에 대해 제약 강력 볼록성(Restricted Strong Convexity, RSC) 조건을 확립하여, 희소성 하에서 고차원 일致성(consistency)을 가능하게 한다.
• 카토니의 강건한 M-추정 프레임워크를 고차원 희소 선형 모델로 확장하여, 오직 두 번째 모멘트 존재성만을 가정해도 지수형 농도를 달성한다.

실험 결과

연구 질문

• RQ1 오차가 오직 유한한 두 번째 모멘트만 갖는 경우, 고차원 평균 회귀에서 최적의 $L_2$ 추정 오차 속도를 달성할 수 있는가?
• RQ2 기존의 허버 손실이 평균 회귀에서 초래하는 편향을 줄이면서도, 중성 꼬리 오차에 대해 강건성을 유지할 수 있는가?
• RQ3 오차 분포가 중성 꼬리일 경우에도 RA-Lasso 추정기는 경량 꼬리 설정에서와 동일한 최적 속도를 달성하는가?
• RQ4 오직 두 번째 모멘트 존재성만을 가정할 때도 평균 추정기의 농도 부등식을 수립할 수 있는가? 이를 통해 고차원에서의 강건한 추론이 가능해지는가?
• RQ5 기존의 강건한 방법들인 LAD와 분위수 회귀 기반 추정기들과 비교해 RA-Lasso 추정기의 유한 표본 성능은 어떠한가?

주요 결과

• 초고차원 설정 하에서 RA-Lasso 추정기는 최적의 $L_2$ 오차 속도 $O(\sqrt{R_q (\log p)/n})$를 달성하며, 이는 경량 꼬리 설정에서의 최적 속도와 일치한다.
• 오차가 0을 중심으로 대칭일 경우, RA-Lasso 추정기는 $L_1$-페널티 LAD 추정기와 동일한 속도를 달성하여, 이 특수한 경우에서 효율성 손실이 없다.
• RSC 조건 하에서 추정 오차 $\|\widehat{\boldsymbol{\beta}} - \boldsymbol{\beta}^*\|_2$ 는 $O(\sqrt{R_q (\log p)/n})$ 속도로 수렴하며, 이때 $R_q$ 는 희소성의 정도를 제어한다.
• 세 번째 모멘트가 존재할 경우 허버 손실의 편향은 $O(\alpha^2)$ 수준으로 줄어들고, 오직 두 번째 모멘트만 존재할 경우 $O(\alpha)$ 수준으로 줄어들어 일관된 평균 추정이 가능하다.
• 오직 두 번째 모멘트 존재성만을 가정해도 RA-Lasso 추정기는 모집단 평균에 대해 지수형 농도를 보이며, 카토니의 결과를 고차원 회귀로 확장한다.
• 복합 경사 하강법 알고리즘이 충분한 반복 후 최적의 속도로 수렴하므로, 계산상의 실현 가능성이 보장된다.