[논문 리뷰] Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption

Lihu Xu, Fang Yao외 2명|arXiv (Cornell University)|2022. 01. 10.

Advanced Statistical Methods and Models인용 수 7

한 줄 요약

이 논문은 무한 분산 조건 하에서 강건한 통계학적 학습을 위한 비점근적 초과 위험 경계를 제안하며, $\beta \in (1,2)$인 유한한 $\beta$-번째 모멘트만을 갖는 데이터에서도 최적의 수렴 속도를 달성하는 릿지 및 엘라스틱넷 로그절단 M-추정량을 도입한다. 주요 기여는 초과 위험 경계를 강건한 추정량 이론적으로 확장하여, 깊이 있는 신경망을 포함한 볼록 및 비볼록 모델에 대해 두꺼운 尾(heavy-tailed), 비-서브가우시안 설정에서도 이론적 보장을 제공하는 데 있다.

ABSTRACT

There has been a surge of interest in developing robust estimators for models with heavy-tailed and bounded variance data in statistics and machine learning, while few works impose unbounded variance. This paper proposes two type of robust estimators, the ridge log-truncated M-estimator and the elastic net log-truncated M-estimator. The first estimator is applied to convex regressions such as quantile regression and generalized linear models, while the other one is applied to high dimensional non-convex learning problems such as regressions via deep neural networks. Simulations and real data analysis demonstrate the {robustness} of log-truncated estimations over standard estimations.

연구 동기 및 목표

• 무한 분산 가정 하에서의 강건한 통계학적 학습 방법의 부족을 해결하기 위해, 특히 $\beta \in (1,2)$이면서 유한한 $\beta$-번째 모멘트만을 갖는 데이터에 대해.
• 볼록 및 고차원 비볼록 학습 문제 양쪽에 적용 가능한 새로운 강건한 추정량—릿지 로그절단 M-추정량 및 엘라스틱넷 로그절단 M-추정량—을 개발하기 위해.
• 초과 위험 경계를 비점근적으로 확립하기 위해, 손실 함수의 유계성, 리프시츠 조건, 또는 서브가우시안 가정 없이 최소한의 모멘트 조건 하에서.
• 보스턴 주택 및 MNIST 데이터셋과 같은 데이터셋을 활용한 시뮬레이션 및 실데이터 분석을 통해 제안된 추정량의 강건성을 입증하기 위해.
• 깊이 있는 신경망, 혼합 회귀, 비음수 행렬 분해와 같은 비볼록 모델에 이론적 프레임워크를 확장하여 두꺼운 꼬리 노이즈 하에서의 적용 가능성을 확보하기 위해.

제안 방법

• 특정 $\beta$-안정 분포에 맞게 조정된 $\beta \in (1,2)$인 경우를 고려해, 일반적인 로그절단 함수 $\lambda(x) = \frac{1}{\beta}|x|^\beta$를 제안하여 강건한 M-추정에 활용한다.
• 서브-웨이불 꼬리에 적합한 새로운 농도 불등식 프레임워크를 도입하여, 약한 모멘트 조건 하에서도 비점근적 분석이 가능하도록 초과 위험 경계를 유도한다.
• 릿지 로그절단 M-추정량을 양자화 회귀 및 일반선형모형(GLMs), 즉 로지스틱 회귀 및 음이항 회귀를 포함한 볼록 모델에 적용한다.
• 고차원 비볼록 문제에서 $p \gg n$일 경우에 적합하도록, 로그절단 M-추정량의 엘라스틱넷 변형을 도입하여 희박성과 안정성을 동시에 확보한다.
• 제안된 강건한 프레임워크 하에서 깊이 있는 신경망 회귀를 학습하기 위해 확률적 경사하강법(SGD)을 활용하며, 수렴에 대한 이론적 근거를 제공한다.
• 시뮬레이션 및 실세계 데이터를 통한 검증을 통해 보스턴 주택 및 MNIST 데이터셋에서 표준 추정량보다 더 뛰어난 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 데이터가 서브가우시안 또는 유계 모멘트가 아닌, $\beta \in (1,2)$이면서 유한한 $\beta$-번째 모멘트만을 갖는 경우, 강건한 M-추정량이 비점근적 초과 위험 경계를 달성할 수 있는가?
• RQ2 로그절단 프레임워크는 깊이 있는 신경망 및 혼합 모델과 같은 고차원 비볼록 학습 문제로 어떻게 확장될 수 있는가?
• RQ3 무한 분산 가정 하에서 강건한 추정량의 최적 수렴 속도는 무엇이며, 릿지나 엘라스틱넷과 같은 정규화 기법으로 이를 달성할 수 있는가?
• RQ4 제안된 프레임워크는 두 성분 혼합 선형 회귀 및 비음수 행렬 분해와 같은 비볼록 모델에 대해 두꺼운 꼬리 노이즈 하에서도 적용 가능한가?
• RQ5 꼬리 지수 $\beta$의 선택이 예측 성능에 미치는 영향은 무엇이며, 실무에서의 모델 선택에 있어 그 의미는 무엇인가?

주요 결과

• 릿지 로그절단 M-추정량은 $\beta \in (1,2)$ 조건 하에서 $O\left(\left(\frac{(2d+1)\log(nr_n)}{n}\right)^{\frac{\beta-1}{\beta}}\right)$ 정도의 초과 위험 경계를 달성하며, 이는 이전의 LAD 회귀 결과를 확장하는 것이다.
• 일반선형모형(GLMs)의 경우, 로지스틱 회귀 및 음이항 회귀에 적용 가능한 일반적인 초과 위험 경계를 제공하며, 수렴 속도는 $\beta$와 차원에 따라 달라진다.
• 엘라스틱넷 로그절단 M-추정량은 $p \gg n$의 고차원 설정 하에서 희박성 조건과 $\beta$-모멘트 조건 하에 유사한 비점근적 초과 위험 경계를 달성한다.
• 보스턴 주택 및 MNIST 데이터셋에 대한 실증 결과는 제안된 강건한 DNN 회귀 모델이 두꺼운 꼬리 노이즈 하에서 표준 추정량보다 예측 안정성 면에서 뛰어나다는 것을 보여준다.
• 이론적 분석은 두 성분 혼합 선형 회귀 및 비음수 행렬 분해와 같은 비볼록 모델에 대해서도 이 방법이 적용 가능하며, $\beta$-모멘트 조건 하에서 초과 위험 경계가 유도됨을 확인한다.
• 이 프레임워크는 모형 오특정 및 오염에 강건하며, 두 번째 모멘트가 존재하지 않는 경우에도 이론적 보장을 제공하므로, 부자 및 네트워크 분포와 같은 실세계의 두꺼운 꼬리 데이터에 적합하다.