[논문 리뷰] Excess risk bounds in robust empirical risk minimization

Stanislav Minsker, Timothée Mathieu|arXiv (Cornell University)|2019. 10. 16.

Statistical Methods and Inference참고 문헌 43인용 수 8

한 줄 요약

이 논문은 표준 표본 평균을 중앙값의 평균과 Catoni 유형의 추정량으로 대체함으로써, 무거운 尾를 가진 분포와 악성 오염에 대해 강건한 경험적 리스크 최소화 프레임워크를 제안한다. 이는 최소한의 모멘트 가정 조건 하에서도 빠른 수렴 속도를 보이는 고확률 초과 리스크 경계를 확립한다. 오염 수준과 표본 크기의 명시적 의존성은 존재한다.

ABSTRACT

This paper investigates robust versions of the general empirical risk minimization algorithm, one of the core techniques underlying modern statistical methods. Success of the empirical risk minimization is based on the fact that for a "well-behaved" stochastic process $\left\{ f(X), \ f\in \mathcal F ight\}$ indexed by a class of functions $f\in \mathcal F$, averages $\frac{1}{N}\sum_{j=1}^N f(X_j)$ evaluated over a sample $X_1,\ldots,X_N$ of i.i.d. copies of $X$ provide good approximation to the expectations $\mathbb E f(X)$ uniformly over large classes $f\in \mathcal F$. However, this might no longer be true if the marginal distributions of the process are heavy-tailed or if the sample contains outliers. We propose a version of empirical risk minimization based on the idea of replacing sample averages by robust proxies of the expectation, and obtain high-confidence bounds for the excess risk of resulting estimators. In particular, we show that the excess risk of robust estimators can converge to $0$ at fast rates with respect to the sample size. We discuss implications of the main results to the linear and logistic regression problems, and evaluate the numerical performance of proposed methods on simulated and real data.

연구 동기 및 목표

• 무거운 꼬리 분포와 악성 오염 하에서 고전적 경험적 리스크 최소화(EPM)의 실패를 다루며, 여기서 표준 농도 부등식이 무너지는 것을 설명한다.
• 유한한 두 번째에서 네 번째 모멘트 조건(예: 유한한 두 번째에서 네 번째 모멘트) 하에서도 통계적 효율성과 고확률 성능 보장을 유지하는 강건한 ERM 프레임워크를 개발한다.
• 무거운 꼬리 또는 오염된 데이터가 존재하더라도, 결과 추정량의 초과 리스크가 빠른 속도로 0으로 수렴하도록 보장한다.
• 오염 수준과 표본 크기에 명시적으로 의존하는 초과 리스크의 이론적 경계를 제공함으로써, 최소한의 분포 가정 하에서도 실용적인 강건한 학습을 가능하게 한다.

제안 방법

• 표준 경험 평균을 둘러싼 유한한 두 번째 모멘트 조건 하에서도 하이퍼지수적 농도 성질을 확보할 수 있는 중앙값의 평균 추정량으로 ERM 내의 표준 경험 평균을 대체한다.
• Catoni의 강건한 추정량을 기대값의 대체 지표로 활용하여, 약한 모멘트 조건 하에서도 날카운 떨어짐 경계를 제공한다.
• 데이터를 상호 배타적인 부분집합으로 나누고, 각 부분집합에서 강건한 추정량을 계산한 후 그 중앙값을 취함으로써, 이상치에 대한 민감도를 감소시킨다.
• 강건한 추정량에 특화된 대칭화 기법과 경험 과정 이론을 사용하여 고신뢰도 초과 리스크 경계를 유도한다.
• 기울기 추정량의 비율과 나머지 항들을 포함하는 안정성 추론을 통해 개선된 초과 리스크 통제 메커니즘을 도입한다.
• 선형 회귀 및 로지스틱 회귀에 이 프레임워크를 적용하여, 강건성 제약 조건 하에서도 표준 통계 학습 문제에 적용 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 손실 함수가 유한한 두 번째에서 네 번째 모멘트만을 갖는 조건 하에서도 강건한 경험적 리스크 최소화가 빠른 초과 리스크 수렴 속도를 달성할 수 있는가?
• RQ2 악성 오염이 고전적 ERM의 성능에 어떤 영향을 미치며, 강건한 추정량이 이를 완화할 수 있는가?
• RQ3 중앙값의 평균 또는 Catoni 유형의 추정량이 경험 평균을 대체할 수 있는 정도는 어느 정도이며, 빠른 수렴 속도를 유지할 수 있는가?
• RQ4 강건한 설정에서 초과 리스크 경계가 오염 수준과 표본 크기에 어떻게 의존하는가?
• RQ5 제안된 강건한 ERM 프레임워크는 선형 회귀 및 로지스틱 회귀와 같은 실용적 문제에 이론적 보장을 제공하면서 확장 가능한가?

주요 결과

• 제안된 강건한 ERM 추정량은 손실 함수가 유한한 두 번째에서 네 번째 모멘트만을 갖는 조건 하에서도 초과 리스크 경계가 빠르게 0으로 수렴함을 보였다.
• 고확률 $1 - 10e^{-s}$ 하에서, 강건한 추정량 $ ilde{f}_N$의 초과 리스크는 $ ilde{ ho} + C( ho)ig(D^2 ho( ho, ho) ig)ig(rac{rak{B}^6( ho, ho)}{M_ ho^4 n^2} + rac{s + ho}{N}ig)$ 로 경계된다. 여기서 $ ho$는 오염 수준이다.
• 초과 리스크 경계는 오직 항 $rac{s + ho}{N}$ 에서만 오염에 대해 비최적의 방식으로 스케일링되며, 이는 중량 꼬리와 악성 이상치 모두에 대해 강건함을 시사한다.
• 이 프레임워크는 진짜 분포가 중량 꼬리를 가질 경우에도 $ ilde{ ho} \to 0$ 이 되도록 보장하며, $N \to \infty$ 일 때 성립한다.
• 고확률 사건 $\mathcal{E}_1$ 하에서, 후보 추정량 집합 $ {F}( ilde{ ho})$ 는 최적 리스크의 $7\tilde{ ho}$-근접 이웃 내에 존재한다.
• 이론적 분석은 강건한 추정량이 최소한의 모멘트 가정 조건 하에서도 빠른 수렴 속도를 유지함을 확인하였으며, 이는 엔velop norm $\frak{B}(\ell,\mathcal{F})$ 와 강건성 매개변수 $M_\Delta$ 에 명시적인 의존성을 보인다.