[논문 리뷰] High dimensional robust M-estimation : arbitrary corruption and heavy tails

Liu Liu|arXiv (Cornell University)|2021. 07. 06.

Sparse and Compressive Sensing Techniques참고 문헌 80인용 수 7

한 줄 요약

이 논문은 4차 모멘트가 유계인 무거운 尾 분포 또는 임의의 손상이 있는 경우에도 고차원 M-추정에 대해 강건한 경사하강법 프레임워크를 제안하며, 통계적 속도의 최소최대 최적성과 계산 효율성을 동시에 달성한다. 이는 서브가우시안 가정 없이도 정확한 희소 회귀, 가우시안 그래픽 모델링, 낮은 질서 행렬 복원을 가능하게 한다.

ABSTRACT

We consider the problem of constrained M-estimation when both explanatory and response variables have heavy tails (bounded 4-th moments), or a fraction of arbitrary corruptions. We focus on the high-dimensional regime where the underlying parameter has a low-dimensional constraint, such as sparsity or low rankness. Modeling with sparsity of low rank constraint in high dimensions is NP-hard in the worst case. Thus theoretical recovery guarantees for most computationally tractable approaches rely on strong assumptions on the probabilistic models of the data, such as sub-Gaussianity. Under such assumptions, existing approaches achieve the minimax optimal recovery guarantees. But heavy-tails and arbitrary corruptions in the data violate the assumptions required for convergence of the usual algorithms. This thesis tackles these challenges for a few statistical learning problems: robust sparse regression, robust Gaussian graphical model estimation and robust low rank matrix recovery. We provide a novel robust gradient descent approach for these problems in a high dimensional regime and we present optimal statistical guarantees and computational efficient algorithms under the heavy-tails and arbitrary corruptions. We demonstrate the effectiveness of our approach in sparse linear, logistic regression, sparse precision matrix estimation and low rank matrix recovery on synthetic and real-world data.

연구 동기 및 목표

• 데이터가 무거운 꼬리 분포(4차 모멘트가 유계)이거나 임의의 손상이 있을 경우 고차원 M-추정 문제를 해결한다.
• 기존 방법이 서브가우시안성과 같은 강력한 확률적 가정에 의존하는 한계를 극복한다.
• 희소성 또는 낮은 질서 제약 조건이 있는 고차원 설정에서 최소최대 최적 통계적 속도를 달성하는 계산 효율적인 알고리즘을 개발한다.
• 약한 모멘트 조건 하에서 희소 선형 회귀, 정밀도 행렬 추정, 낮은 질서 행렬 복원에 대한 강건한 복원에 대한 이론적 보장을 제공한다.

제안 방법

• 고차원 M-추정에서 중량 있는 꼬리 및 손상된 데이터를 다룰 수 있도록 설계된 새로운 강건한 경사하강 알고리즘을 도입한다.
• 이상치 및 중량 있는 꼬리 노이즈의 영향을 줄이기 위해 잘린 경험 위험 최소화를 활용한다.
• M-추정 프레임워크 내에서 정규화를 통해 희소성 또는 낮은 질서 구조 제약 조건을 통합한다.
• 고차 모멘트를 제한하여 중량 있는 꼬리 또는 악성 손상에 민감하지 않은 강건한 경사 추정기를 사용한다.
• 표본 수가 제한된 고차원 설정에서 수렴을 향상시키기 위해 분산 감소 기법을 적용한다.
• 반복 최적화를 사용하여 각 반복의 계산 복잡도가 고차원에 대해 스케일이 가능하도록 하여 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 서브가우시안 가정 없이 4차 모멘트만 유계일 경우 강건한 M-추정이 최소최대 최적 통계적 속도를 달성할 수 있는가?
• RQ2 임의의 손상이 있을 경우 고차원 희소 또는 낮은 질서 추정에서 계산 효율성을 유지할 수 있는가?
• RQ3 통합된 강건한 경사하강 프레임워크가 희소 및 낮은 질서 모델을 포함한 여러 고차원 학습 문제에 적용될 수 있는가?
• RQ4 중량 있는 꼬리 및 손상된 데이터 하에서 강건한 희소 및 낮은 질서 모델의 추정 오차와 수렴 속도에 대한 이론적 보장은 무엇인가?
• RQ5 실제 및 시뮬레이션 환경에서 기존 방법과 비교해 본다면, 제안된 방법은 강건성과 통계적 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 강건한 경사하강 방법은 서브가우시안 가정 없이 4차 모멘트만 유계인 조건 하에서도 고차원 M-추정에 대해 최소최대 최적 통계적 속도를 달성한다.
• 알고리즘이 희소성 또는 낮은 질서 제약 조건이 있는 고차원 영역에서도 계산 효율성을 유지한다.
• 희소 선형 및 로지스틱 회귀, 정밀도 행렬 추정, 낮은 질서 행렬 복원에 대해 이론적 보장을 확립한다.
• 시뮬레이션 및 실제 데이터에서의 실험 결과는 중량 있는 꼬리 및 손상된 데이터 하에서 기준 방법보다 뛰어난 성능을 보였다.
• 서브가우시안 가정에서 벗어나는 데이터에서 표준 M-추정기보다 추정 정확도와 강건성이 뛰어나다.