[논문 리뷰] On Empirical Risk Minimization with Dependent and Heavy-Tailed Data

Abhishek Roy, Krishnakumar Balasubramanian외 1명|arXiv (Cornell University)|2021. 09. 06.

Statistical Methods and Inference참고 문헌 32인용 수 4

한 줄 요약

이 논문은 메인델슨의 농도 집중 없이 학습하는 프레임워크를 엄격하게 정적이고 지수적 β-믹싱 과정으로 일반화하여 종속적이고 꼬리가 무거운 데이터에 대한 경험적 리스크 최소화(ERM)를 확장한다. 노이즈와 함수 평가 간의 상호작용을 직접 모델링함으로써 더 약한 모멘트 가정 하에 위험 한계를 수립하고, 다항 또는 지수적 꼬리가 있는 오차를 가진 제곱 손실과 투버 손실 하에서 고차원 선형 회귀의 수렴 속도를 도출한다.

ABSTRACT

In this work, we establish risk bounds for the Empirical Risk Minimization (ERM) with both dependent and heavy-tailed data-generating processes. We do so by extending the seminal works of Mendelson [Men15, Men18] on the analysis of ERM with heavy-tailed but independent and identically distributed observations, to the strictly stationary exponentially $β$-mixing case. Our analysis is based on explicitly controlling the multiplier process arising from the interaction between the noise and the function evaluations on inputs. It allows for the interaction to be even polynomially heavy-tailed, which covers a significantly large class of heavy-tailed models beyond what is analyzed in the learning theory literature. We illustrate our results by deriving rates of convergence for the high-dimensional linear regression problem with dependent and heavy-tailed data.

연구 동기 및 목표

• 실제로 흔한 종속적이고 꼬리가 두꺼운 데이터 생성 과정(DGP)에 대한 ERM 분석에서 이론적 간극을 메우기 위해.
• 원래 i.i.d. 꼬리가 두꺼운 데이터를 위한 것이었던 멘델슨의 농도 집중 없이 학습하는 프레임워크를 엄격히 정적이고 지수적 β-믹싱 DGP의 비-i.i.d. 경우로 확장하기 위해.
• 노이즈와 입력의 상호작용이 다항 또는 지수적 꼬리가 두꺼운 경우에 대해 볼록이고 국소적으로 강하게 볼록한 손실 함수에 대한 위험 한계를 유도하기 위해.
• 종속적이고 꼬리가 두꺼운 데이터 하에서 제곱 손실과 투버 손실 모두에 대해 고차원 선형 회귀의 수렴 속도를 제공하기 위해.
• 약한 모멘트 조건 하에서 승수 과정을 다룰 수 있는 β-믹싱 랜덤 변수에 대한 새로운 농도 불등식을 개발하기 위해.

제안 방법

• 노이즈와 함수 평가 간의 상호작용에 대한 모멘트 조건을 직접 가정함으로써 멘델슨(2015, 2018)의 소볼라 기법을 β-믹싱 과정으로 확장한다.
• 지수적 꼬리가 두꺼운 상호작용에 대해 [MPR11]의 농도 불등식을 사용하고, [BMdlP20]을 확장하여 β-믹싱 설정에서 다항 꼬리가 두꺼운 상호작용에 대한 새로운 불등식을 도출한다.
• 승수 경험 과정을 분석하기 위해 입력에서의 노이즈와 함수 평가 간의 상호작용 항을 명시적으로 제어함으로써 균일한 농도에 의존하지 않는다.
• ℓ1- 및 ℓ2-구를 통해 정의된 함수 클래스를 사용하여 고차원 선형 모델에 이 프레임워크를 적용하고, 복잡도 측도 ωQ(F−F,N,ζ1,ζ2)를 사용해 추정 오차를 경계한다.
• Corollary B.2를 통해 꼬리 확률 경계와 β-믹싱 가정 하에서의 복잡도 제어를 결합하여 일반화 오차 경계를 도출한다.
• 위험 경계의 세 항을 균형 잡는 것으로 수렴 속도를 확립한다: 빠른 수렴 속도 항, 느린 수렴 속도 항, 그리고 적절한 집합 A(N) 선택을 통해 N에 따라 감소하는 항.

실험 결과

연구 질문

• RQ1 i.i.d. 가정이 성립하지 않을 때 종속적이고 꼬리가 두꺼운 데이터에 대해 ERM가 이론적으로 정당화될 수 있는가?
• RQ2 약한 모멘트 가정 하에서 승수 경험 과정 불등식은 어떻게 β-믹싱 과정으로 확장될 수 있는가?
• RQ3 종속적이고 꼬리가 두꺼운 데이터일 때 제곱 손실과 투버 손실 하에서 고차원 선형 회귀의 수렴 속도는 어떤가?
• RQ4 농도 집중이나 유계성 가정에 의존하지 않고 농도 집중 없이 학습하는 프레임워크를 비-i.i.i.d. 환경에 어떻게 적용할 수 있는가?
• RQ5 노이즈-함수 평가 곱의 다항 꼬리 대비 지수 꼬리가 두꺼운 상호작용이 일반화 오차에 미치는 영향은 무엇인가?

주요 결과

• 논문은 β-믹싱, 꼬리가 두꺼운 데이터 하에서 ERM에 대한 일반적 위험 경계를 수립하였으며, ℓ2 추정 오차의 수렴 속도가 max(N^{-1/2+ι}, R/√N √log(ed/N)) 순서로 이루어진다.
• ℓ1-정규화된 함수 클래스를 가진 고차원 선형 모델에 대해, N ≤ c1(Lg)d 일 때 추정 오차는 O(R/√N √log(ed/N))로 경계되고, N > c1(Lg)d 일 때는 O(R/√d)로 경계된다.
• 일반화 오차 경계는 높은 확률로 성립하며, 실패 확률은 exp(−cN^{η1/(1+η1)}) 및 exp(−(N^{2ι}τ0)^η/M1)로 감소하여 강한 농도를 나타낸다.
• 전통적인 ERM보다 더 약한 모멘트 가정 하에서도 비점근적 위험 경계를 달성하여 노이즈와 입력 간의 다항 또는 지수 꼬리가 두꺼운 상호작용을 허용한다.
• 분석 결과, 위험 경계의 세 번째 항(β-믹싱 의존성에서 기인)은 A(N)를 적절히 선택함으로써 N→∞일 때 0으로 감소시킬 수 있으며, 이는 빠른 수렴 속도를 가능하게 한다.
• 결과는 제곱 손실과 투버 손실 모두에 대해 희박한 선형 회귀의 맥락에서 검증되었으며, 종속성 하에서 꼬리가 두꺼운 노이즈에 대해 강건함을 보여준다.