[논문 리뷰] Risk bounds in linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|2009. 02. 10.

Control Systems and Identification참고 문헌 17인용 수 7

한 줄 요약

이 논문은 손실 차이의 절단을 사용하여 선형 회귀에 대한 PAC-Bayesian 위험 경계를 제안하며, 출력 분포에 대한 지수 모멘트가 필요 없이 최적의 $d/n$ 수렴 속도를 달성한다. 국소화된 PAC-Bayesian 부등식과 절단을 활용하여, 릿지 및 일반 최소 제곱 추정기의 날카운 excess 위험 경계를 도출하며, 무거운 尾 꼬리 노이즈 조건 하에서도 유효하며 지수적 분포 보장을 제공한다.

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression, and variants of this problem including constraints on the parameters of the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log n factor, and require some additional assumptions like uniform boundedness of the d-dimensional input representation and exponential moments of the output. This work provides new risk bounds for the ridge estimator and the ordinary least squares estimator, and their variants. It also provides shrinkage procedures with convergence rate d/n (i.e., without the logarithmic factor) in expectation and in deviations, under various assumptions. The key common surprising factor of these results is the absence of exponential moment condition on the output distribution while achieving exponential deviations. All risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. Finally, we show that some of these results are not particular to the least squares loss, but can be generalized to similar strongly convex loss functions.

연구 동기 및 목표

• 출력에 대한 지수 모멘트나 유계인 공변수를 요구하는 강력한 가정이 필요한 선형 회귀의 위험 경계 간극을 메운다.
• 무거운 꼬리 노이즈 조건 하에서도 기대값과 분포에서 최적의 $d/n$ 수렴 속도를 갖는 추정기를 개발한다.
• PAC-Bayesian 분석을 통해 릿지 및 일반 최소 제곱 추정기의 이론적 보장을 최소한의 모멘트 조건 하에서 제공한다.
• 최소 제곱 이외의 강력한 볼록 손실 함수로 결과를 일반화하여 강건한 회귀에의 적용 가능성을 높인다.
• 손실 차이의 절단이 지수 모멘트 조건 없이도 정규 분포 유사 꼬리 행동을 유도할 수 있음을 보여준다.

제안 방법

• 표준 손실을 꼬리 행동을 제어하기 위해 절단된 형태로 대체함으로써, 절단된 손실 차이에 대해 PAC-Bayesian 이론을 적용한다.
• 위험 경계에서 $\log n$ 요소를 제거할 수 있는 국소화된 PAC-Bayesian 부등식을 도입하여 $d/n$ 수렴 속도를 달성한다.
• 절단된 집합에서 최대 손실을 최소화함으로써 영향력 있는 이상치를 제거하는 min-max 절단 추정기를 사용한다.
• 추정기 집합에 대한 깁스 후행 분포를 통해, 지수 모멘트 가정 없이도 농도 보장을 확보한다.
• 새로운 절단 메커니즘을 통해 출력 분포가 지수 모멘트를 갖지 않더라도 여전히 초지수 꼬리 행동을 유도함을 입증한다.
• 강력한 볼록 손실 함수로 결과를 일반화하기 위해 절단 및 국소화 프레임워크를 다른 손실 유형에 적응시킨다.

실험 결과

연구 질문

• RQ1 출력 분포에 대한 지수 모멘트 조건 없이도 선형 회귀의 위험 경계를 $d/n$ 수렴 속도로 달성할 수 있는가?
• RQ2 PAC-Bayesian 분석은 어떻게 중간 꼬리나 유계가 아닌 출력 분포를 가진 회귀 문제를 다룰 수 있는가?
• RQ3 지수 모멘트 가정 없이도 정규 분포 유사 분포 보장을 달성하기 위해 절단이 수행하는 역할은 무엇인가?
• RQ4 표준 위험 경계에서 나타나는 $\log n$ 요소를 릿지 및 OLS 추정기의 초과 위험에서 제거할 수 있는가?
• RQ5 제안된 절단 및 국소화 프레임워크는 최소 제곱 이외의 강력한 볼록 손실 함수로 얼마나 넓게 확장될 수 있는가?

주요 결과

• 논문은 출력 분포에 대한 지수 모멘트 조건 없이도 기대값과 분포에서 $d/n$ 수준의 초과 위험 경계를 달성한다.
• 시뮬레이션 결과, min-max 절단 추정기는 특히 중간 꼬리 노이즈 조건 하에서 일반 최소 제곱 추정기보다 성능이 뛰어나며, 일부 설정에서 최대 35% 낮은 위험을 기록한다.
• 정규 노이즈 조건 하에서, min-max 절단 추정기는 $n=2000, d=2$일 때 기대 초과 위험 $0.112 \pm 0.007$을 달성하며 이론적 $d/n$ 수렴 속도를 정확히 따르고 있다.
• 절단으로 유도된 초지수 꼬리 덕분에 지수 모멘트 조건 없이도 지수적 분포 보장을 달성한다.
• 이론적 분석을 통해 표준 위험 경계에서 나타나는 $\log n$ 요소는 국소화된 PAC-Bayesian 부등식을 통해 제거될 수 있음을 입증한다.
• 프레임워크는 다른 강력한 볼록 손실 함수로 일반화 가능하며, 최소 제곱 회귀 이외의 분야에도 넓은 적용 가능성을 보여준다.