[논문 리뷰] Linear regression through PAC-Bayesian truncation

Jean-Yves Audibert, Olivier Catoni|arXiv (Cornell University)|2010. 10. 01.

Statistical Methods and Inference참고 문헌 25인용 수 10

한 줄 요약

이 논문은 출력 분포에 대한 지수 모멘트 조건이 필요 없이도 기대값과 확률적 편차 모두에서 $d/n$ 순위의 초과 위험도 경계를 달성하는 선형 회귀를 위한 PAC-베이지안 수축 절차를 제안한다. 손실 차이의 절단과 PAC-베이지안 분석을 활용함으로써, 최소한의 가정 하에 강인한 고확률 위험 통제를 보장하며, 강凸 손실 함수로의 확장도 가능하다.

ABSTRACT

We consider the problem of predicting as well as the best linear combination of d given functions in least squares regression under L^\infty constraints on the linear combination. When the input distribution is known, there already exists an algorithm having an expected excess risk of order d/n, where n is the size of the training data. Without this strong assumption, standard results often contain a multiplicative log(n) factor, complex constants involving the conditioning of the Gram matrix of the covariates, kurtosis coefficients or some geometric quantity characterizing the relation between L^2 and L^\infty-balls and require some additional assumptions like exponential moments of the output. This work provides a PAC-Bayesian shrinkage procedure with a simple excess risk bound of order d/n holding in expectation and in deviations, under various assumptions. The common surprising factor of these results is their simplicity and the absence of exponential moment condition on the output distribution while achieving exponential deviations. The risk bounds are obtained through a PAC-Bayesian analysis on truncated differences of losses. We also show that these results can be generalized to other strongly convex loss functions.

연구 동기 및 목표

• 최소한의 분포 가정 하에 최적의 초과 위험도 경계를 확보하는 강인한 선형 회귀 추정기 개발
• 출력에 대한 지수 모멘트 조건 없이도 기대값과 고확률 편차 모두에서 $d/n$ 초과 위험도 달성
• 절단된 손실 차이에 대한 PAC-베이지안 분석을 활용한 단순하고 통합된 위험 통제 프레임워크 제공
• 최소 제곱 외의 강凸 손실 함수로의 접근 확장
• 계량 행렬 조건 수나 첨도와 연관된 복잡한 상수를 제거하면서도 지수적 편차 경계 유지

제안 방법

• 일반화 오차를 제어하기 위해 경험 손실과 진짜 손실의 차이를 절단한 데에 기반한 PAC-베이지안 분석을 적용
• 기저 함수의 선형 조합에 대한 깁스 사후 분포를 기반으로 한 수축 절차 설계
• 손실 차이의 절단을 통해 모멘트 조건 없이도 뚜렷한 꼬리 또는 무거운 꼬리 행동을 제어 가능
• 기존의 서브-가우시안 또는 서브-웨이불 가정에 의존하지 않고, 절단된 손실 차이에 대한 새로운 PAC-베이지안 정리의 응용을 통해 위험 경계 유도
• 손실 차이의 절단 및 발산 제어 메커니즘의 적응을 통해 강凸 손실 함수로의 접근 확장
• 최종 추정기는 랜덤화된 형태이며, PAC-베이지안 위험 대체 지표를 최소화하는 계수에 대한 사후 분포를 갖는다.

실험 결과

연구 질문

• RQ1 지수 모멘트 가정 없이도 PAC-베이지안 접근이 고확률 편차에서 $d/n$ 초과 위험도를 달성할 수 있는가?
• RQ2 손실 절단은 선형 회귀에서 강인성과 위험 경계 단순화에 어떻게 기여하는가?
• RQ3 계량 행렬 조건 수에 대한 의존 없이 단순한 상수와 함께 지수적 편차 경계를 달성할 수 있는가?
• RQ4 최소 제곱 외의 다른 강凸 손실 함수로 프레임워크를 일반화할 수 있는가?
• RQ5 수축과 랜덤화된 추정기는 최적의 모델에 의존하지 않는 위험 통제를 달성하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 추정기는 최소한의 초과 위험도 경계를 $d/n$ 순위로 기대값에서 달성하며, 이는 최소 최대 최적 속도와 일치한다.
• 확률 $1 - \varepsilon$ 에서 초과 위험도는 $\kappa(d + \log(\varepsilon^{-1}))/n$ 이하로 유계이며, $n$ 에 대한 로그 인자 없이도 유지된다.
• 출력에 대한 지수 모멘트 조건이 없음에도 불구하고 지수적 편차 경계를 달성한다.
• 위험 경계는 첨도, 계량 행렬의 조건 수, 또는 $L^2$-$L^\infty$ 볼의 기하적 성질에 영향을 받지 않는다.
• 기존의 강凸 손실 함수로의 접근은 유사한 위험 경계를 유지하면서도 일반화 가능하다.
• 절단된 손실 차이의 사용은 표준 PAC-베이지안 방법 대비 더 엄밀한 제어와 분석 단순화를 가능하게 한다.