[논문 리뷰] Statistical learning with Lipschitz and convex loss functions

Geoffrey Chinot, Guillaume Lecué외 1명|arXiv (Cornell University)|2018. 10. 02.

Statistical Methods and Inference참고 문헌 34인용 수 10

한 줄 요약

이 논문은 리프시츠 및 볼록 손실 함수 하에서 경제적 리스크 최소화(Empirical Risk Minimization, ERM) 및 최소-최대 중앙값의 평균(Minmax Median-of-Means, MOM) 추정기의 추정 및 초과 리스크 경계를 설정한다. 기존의 전역 베르누이 조건(global Bernstein condition)을 국소적 조건(local condition)으로 완화함으로써, 약한 설계 모멘트 가정과 이상치 오염 하에서도 강건한 성능을 달성할 수 있으며, 국소적 베르누이 조건이 제거된 경우조차도 지수적 분포 경계를 확보한다.

ABSTRACT

We obtain risk bounds for Empirical Risk Minimizers (ERM) and minmax Median-Of-Means (MOM) estimators based on loss functions that are both Lipschitz and convex. Results for the ERM are derived without assumptions on the outputs and under subgaussian assumptions on the design and a new "local Bernstein assumption" on the class of predictors. Similar results are shown for minmax MOM estimators in a close setting where the design is only supposed to satisfy moment assumptions, relaxing the Subgaussian hypothesis necessary for ERM. The analysis of minmax MOM estimators is not based on the small ball assumption (SBA) as it was the case in the first analysis of minmax MOM estimators. In particular, the basic example of non parametric statistics where the learning class is the linear span of localized bases, that does not satisfy SBA can now be handled. Finally, minmax MOM estimators are analysed in a setting where the local Bernstein condition is also dropped out. It is shown to achieve an oracle inequality with exponentially large probability under minimal assumptions insuring the existence of all objects.

연구 동기 및 목표

• 손실 함수가 리프시츠이자 볼록일 때 ERM 및 최소-최대 MOM 추정기의 추정 및 초과 리스크 경계를 유도하는 것.
• 이전 연구에서 사용된 전역 베르누이 조건을 국소적 가정으로 완화하여, 첨도가 높은 설계를 가진 선형 회귀와 같은 모델에 더 넓은 적용 가능성을 확보하는 것.
• 최소-최대 MOM 추정기가 설계에 대한 오직 모멘트 가정만을 요구하고도 최적의 수렴 속도를 유지하며, 입력과 출력 양쪽의 이상치에 대해 강건한 성능을 유지를 하는 것.
• 국소적 베르누이 조건을 요구하지 않고 최소-최대 MOM 추정기의 분석을 수행하여, 최소한의 가정 하에서도 지수적 분포 경계를 확보하는 것.

제안 방법

• 이전 연구에서 사용된 전역 조건을 대체할 수 있는 국소적 베르누이 조건을 제안하여, 첨도가 높은 설계를 가진 선형 회귀와 같은 모델에 더 넓은 적용 가능성을 확보한다.
• 최소-최대 MOM 프레임워크를 활용해 이상치에 강건하고 설계에 대한 약한 모멘트 가정 하에서도 최적의 수렴 속도를 달성하는 추정기를 구성한다.
• 집중 불등식과 모멘트 기반 추론을 적용하여, 설계에 대해 서브가우시안 또는 모멘트 조건이 만족되고 출력에 대해 약한 가정이 있을 경우 리스크 경계를 도출한다.
• 손실 함수의 볼록성과 리프시츠 성질을 활용해 초과 리스크를 이차 테일러 전개와 국소 곡률 분석을 통해 통제한다.
• 함수 차이가 제어되는 집합 $ A $ 를 도입하고, 허들러 및 마르코프 부등식을 사용해 $ A $ 외부 기여도를 제한함으로써 안정성을 확보한다.
• 국소적 베르누이 조건이 실패하더라도 초과 리스크에 대해 지수적 분포 경계를 확립하며, 오직 모멘트 존재성과 손실 함수의 구조에 의존한다.

실험 결과

연구 질문

• RQ1 전역 조건 대신 국소적 베르누이 조건을 사용할 때 ERM에 대해 추정 및 초과 리스크 경계를 도출할 수 있으며, 출력에 대한 약한 가정에도 강건한가?
• RQ2 설계에 대한 오직 모멘트 가정만을 요구하고 서브가우시안 또는 유계 조건이 없을 경우 최소-최대 MOM 추정기는 어떻게 성능을 내는가?
• RQ3 국소적 베르누이 조건이 제거된 경우 최소-최대 MOM 추정기는 최적의 수렴 속도와 지수적 분포 경계를 유지할 수 있는가?
• RQ4 이 프레임워크는 입력과 출력 양쪽에 이상치가 존재하는 데이터셋을 다룰 수 있으며, 성능 저하 없이 작동하는가?
• RQ5 이 접근법은 소작도 가정을 만족하지 못하는 비모수적 모델, 예를 들어 국소 기저의 선형 스위프트에 적용 가능한가?

주요 결과

• ERM는 국소적 베르누이 조건 하에서 추정 및 초과 리스크 경계를 확보하며, 전역 곡률 가정이 필요 없어지므로 무한대 설계를 가진 선형 회귀에의 적용 가능성이 열린다.
• 최소-최대 MOM 추정기는 설계에 대한 오직 모멘트 가정만을 요구하고도 최적의 수렴 속도를 달성한다. 서브가우시안 또는 유계 조건이 필요 없다.
• 최소-최대 MOM 추정기는 입력과 출력 양쪽의 이상치에 대해 강건하며, 데이터의 일부가 손상된 경우에도 성능을 유지한다.
• 국소적 베르누이 조건이 만족되지 않더라도 최소-최대 MOM 추정기의 초과 리스크 경계는 지수적으로 큰 확률로 확보된다.
• 이 프레임워크는 소작도 가정을 만족하지 못하는 비모수적 모델, 예를 들어 국소 기저의 선형 스위프트에 적용 가능하며, MOM 기반 방법의 적용 범위를 넓힌다.
• 분석 과정에서 소작도 가정에 의존하지 않아 이전 MOM 기반 접근법보다 더 광범위한 학습 문제 클래스에 적용 가능하다.