[논문 리뷰] Robust high dimensional learning for Lipschitz and convex losses

Geoffrey Chinot, Guillaume Lecué외 1명|arXiv (Cornell University)|2019. 05. 10.

Statistical Methods and Inference참고 문헌 59인용 수 5

한 줄 요약

이 논문은 정규화된 경험 리스크 최소화(RERM)와 새로운 minmax MOM 추정기 방법을 사용하여 리프시츠 및 볼록 손실 함수에 대한 강건한 고차원 학습 방법을 개발한다. 이는 더이상 서브가우시안 가정이 아닌 약한 모멘트 조건 하에서도 최적의 서브가우시안 편차 경계를 확립하며, 무거운 尾 꼬리 분포 및 이상치에 오염된 데이터 환경에서도 강건한 성능을 보이게 한다. 적용 예시로 LASSO, SLOPE, 그룹 LASSO, 총 변동성 정규화 등이 포함된다.

ABSTRACT

We establish risk bounds for Regularized Empirical Risk Minimizers (RERM) when the loss is Lipschitz and convex and the regularization function is a norm. In a first part, we obtain these results in the i.i.d. setup under subgaussian assumptions on the design. In a second part, a more general framework where the design might have heavier tails and data may be corrupted by outliers both in the design and the response variables is considered. In this situation, RERM performs poorly in general. We analyse an alternative procedure based on median-of-means principles and called minmax MOM. We show optimal subgaussian deviation rates for these estimators in the relaxed setting. The main results are meta-theorems allowing a wide-range of applications to various problems in learning theory. To show a non-exhaustive sample of these potential applications, it is applied to classification problems with logistic loss functions regularized by LASSO and SLOPE, to regression problems with Huber loss regularized by Group LASSO and Total Variation. Another advantage of the minmax MOM formulation is that it suggests a systematic way to slightly modify descent based algorithms used in high-dimensional statistics to make them robust to outliers. We illustrate this principle in a Simulations section where a minmax MOM version of classical proximal descent algorithms are turned into robust to outliers algorithms.

연구 동기 및 목표

• 정규화된 경험 리스크 최소화기(RERM)의 강건한 리스크 경계를 리프시츠 및 볼록 손실 함수를 갖는 고차원 설정으로 확장하는 것.
• 무거운 꼬리 분포를 띤 설계 또는 데이터 오염 상황에서 RERM의 불안정성을 해결하기 위해 minmax MOM 추정기를 제안하는 것.
• LASSO, SLOPE, 그룹 LASSO, 총 변동성 정규화 등 다양한 구조적 추정 문제에 적용 가능한 메타정리들을 도출하는 것.
• minmax MOM 원리를 통해 표준 내림내림 알고리즘을 강건한 형태로 변환할 수 있는 체계적 프레임워크를 제공하는 것.
• 서브가우시안 가정 대신 설계에 대한 약한 모멘트 조건 하에서도 최적의 서브가우시안 편차 속도를 확립하는 것.

제안 방법

• 이상치 및 중복 꼬리 분포 데이터에 대한 강건성을 향상시키기 위해 중앙값의 평균 원리에 기반한 minmax MOM 추정기를 제안한다.
• 이전 연구에서 사용된 전역 가정을 완화하기 위해 국소적 복잡도 파라미터와 국소 베르누이 조건을 도입한다.
• 블록별로 경험 리스크의 최대값을 최소화하는 방식으로 minmax MOM 프레임워크를 정규화된 추정기에 적용하여 안정성을 확보한다.
• McDiarmid의 부등식, Giné-Zinn 대칭화 및 압축 논리적 추론을 사용하여 MOM 추정기의 편차에 대한 고확률 경계를 유도한다.
• 스pars리티 방정식과 블록 별 분석을 통해 리스크 경계를 도출하며, 이는 모멘트 조건 하에서 최적의 속도를 달성함을 보장한다.
• 표준 프록시멀 내림내림 알고리즘을 minmax MOM 리스크로 경험 리스크를 대체함으로써 강건한 형태로 변환하는 일반적 절차를 제안한다.

실험 결과

연구 질문

• RQ1 설계에 대해 서브가우시안 가정 대신 약한 모멘트 조건을 둘 때, RERM이 최적의 서브가우시안 편차 경계를 달성할 수 있는가?
• RQ2 설계 변수와 반응 변수 양쪽에서 이상치에 대해 강건성을 확보하기 위해 minmax MOM 추정기를 어떻게 구성할 수 있는가?
• RQ3 국소 베르누이 조건은 고차원 설정에서 강건한 추정기의 빠른 수렴 속도를 도출하는 데 어떤 역할을 하는가?
• RQ4 minmax MOM 프레임워크는 LASSO, SLOPE, 그룹 LASSO, 총 변동성 정규화와 같은 구조적 정규화 문제에 얼마나 넓게 적용될 수 있는가?
• RQ5 표준 내림내림 알고리즘은 minmax MOM 원리를 통해 체계적으로 강건성을 습득할 수 있는가?

주요 결과

• minmax MOM 추정기는 설계가 중복 꼬리 분포를 띠거나 이상치에 오염된 경우에도 모멘트 조건 하에서 최적의 서브가우시안 편차 경계를 달성한다.
• 제안된 메타정리는 국소적 복잡도 파라미터에 의존하는 리스크 경계를 가능하게 하여 전역 복잡도 측정법보다 향상된 성능을 제공한다.
• minmax MOM 추정기의 경우, 사건 $ar{ig{ heta}}_K$ 는 확률 $1 - 2 ext{exp}(-cK)$ 이상에서 발생하며, 이는 고확률 안정성을 보장한다.
• 추정기는 고확률적으로 $P ilde{ ho}^2 ilde{ ho}^2( ho^*, 2 ho^*)$ 를 만족하며, 이는 빠른 수렴 속도를 나타낸다.
• 이 프레임워크를 통해 최소한의 가정 하에 LASSO, SLOPE, 그룹 LASSO, 총 변동성 정규화에 대한 날카운 리스크 경계를 도출할 수 있다.
• minmax MOM 원리는 표준 프록시멀 내림내림 알고리즘을 강건한 형태로 변환할 수 있는 체계적 방법을 제공하며, 시뮬레이션을 통해 이를 확인하였다.