[논문 리뷰] PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales

Maxime Haddouche, Benjamin Guedj|arXiv (Cornell University)|2022. 10. 03.

Machine Learning and Algorithms인용 수 10

한 줄 요약

이 논문은 경량 꼬리 손실에 국한되지 않고, 빈도가 높은 분산 조건만을 가정할 때, 무거운 꼬리 손실을 가진 학습 알고리즘에 대한 새로운 PAC-Bayesian 일반화 경계를 수립한다. 초마르팅게일에 대한 마르코프 부등식의 확장된 형태를 활용함으로써, 배치 학습과 온라인 학습을 통합하는 프레임워크를 제공하며, 하위가우시안 또는 하위지수 꼬리 조건을 요구하지 않음에도 불구하고, 비유한 마르팅게일과 중량 꼬리 설정에서 날카운 경계를 가능하게 한다.

ABSTRACT

While PAC-Bayes is now an established learning framework for light-tailed losses (\emph{e.g.}, subgaussian or subexponential), its extension to the case of heavy-tailed losses remains largely uncharted and has attracted a growing interest in recent years. We contribute PAC-Bayes generalisation bounds for heavy-tailed losses under the sole assumption of bounded variance of the loss function. Under that assumption, we extend previous results from \citet{kuzborskij2019efron}. Our key technical contribution is exploiting an extention of Markov's inequality for supermartingales. Our proof technique unifies and extends different PAC-Bayesian frameworks by providing bounds for unbounded martingales as well as bounds for batch and online learning with heavy-tailed losses.

연구 동기 및 목표

• 경량 꼬리 손실(예: 하위가우시안)을 초월해 무거운 꼬리 손실 함수로 PAC-Bayesian 일반화 이론를 확장하기.
• 비유한, 중량 꼬리 손실을 가진 배치 및 온라인 학습에 모두 적용 가능한 통합 이론적 프레임워크를 개발하기.
• 특히 손실의 두 번째 순서 모멘트가 유한함을 전제로 하는 최소한의 가정 하에, 하위가우시안 또는 하위지수 꼬리 조건을 요구하지 않는 경계 수립하기.
• 비유한 마르팅게일에 적용 가능한 초마르팅게일 기반 증명 기법을 도입함으로써 기존의 PAC-Bayesian 프레임워크를 통합하기.
• 신경망과 같은 현대적 학습 설정에서 비유한 회귀 손실로 훈련되는 복잡한 모델에 대해 더 날카우며 실용적인 일반화 경계의 기초를 마련하기.

제안 방법

• 초마르팅게일에 특화된 마르코프 부등식의 확장된 형태를 사용하여, 비유한, 중량 꼬리 설정에서 꼬리 확률을 제어한다.
• 측도 변화 부등식(Csiszár, 1975)을 적용하여, 사후 분포 하에서의 기대 손실을 사전과 손실의 생성함수 사이의 KL 발산과 연결한다.
• 비유한 마르팅게일을 다루기 위해, 초마르팅게일 집중을 사용하여 고도의 확률적 경계로 경험 분산을 제어하는 새로운 증명 기법을 도입한다.
• 손실의 두 번째 순서 모멘트가 유한함을 전제로 하여, 회귀 분석의 마르팅게일 차분 수열로 회귀 분석의 위험을 모델링함으로써, 배치 학습 및 온라인 밴딧 설정에 대한 일반화 경계를 유도한다.
• 다중 암드 밴딧에서 중요도 가중치를 사용한 보상으로 기대 보상을 편향 없는 추정량으로 구성함으로써, 초마르팅게일 도구의 사용을 가능하게 한다.
• 모든 사후 분포에 대해 경험적 위험와 진짜 위험 사이의 편차에 대한 고확률 경계를 유도하며, 최소 정책 확률과 신뢰 수준에 명시적인 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 하위가우시안 또는 하위지수 꼬리 조건을 가정하지 않고도, PAC-Bayesian 일반화 경계를 중량 꼬리 손실 함수로 확장할 수 있는가?
• RQ2 초마르팅게일 집중 부등식은 온라인 학습에서 발생하는 비유한 마르팅게일에 대해 날카운 경계를 유도하는 데 어떻게 사용될 수 있는가?
• RQ3 비유한, 중량 꼬리 손실에 대해, 배치 및 온라인 PAC-Bayesian 프레임워크를 하나의 이론적 기초로 통합할 수 있는가?
• RQ4 유한 분산이 실용적 학습 시나리오에서 PAC-Bayesian 경계의 날카움과 적용 가능성에 미치는 영향은 무엇인가?
• RQ5 제안된 프레임워크는 비유한 보상을 가진 다중 암드 밴딧에서 기존 경계를 복원하거나 향상시킬 수 있는가?

주요 결과

• 논문은 Kuzborskij와 Szepesvári(2019)의 이전 작업을 확장하여, 빈도가 높은 분산 조건만을 가정할 때, 중량 꼬리 손실에 대한 새로운 PAC-Bayesian 일반화 경계를 수립한다.
• 비유한 보상을 가진 온라인 다중 암드 밴딧에 대한 제안된 경계는 확률 $1 - u$ 에서 성립하며, 형태로 표현할 수 있다: $ \big| \triangle(Q) - \tilde{\triangle}_m(Q) \big| \triangleq 2\frac{1}{\nu} \frac{1}{m} \big( \text{log}(K) + \text{log}(4/\nu) \big) $, 여기서 $1/\nu$ 가 제곱근 안에 포함되어 있다.
• 이 경계는 Seldin 등(2012a)의 경계와 비슷한 날카움을 가지며, $ \big(1 + \frac{2K}{\nu}\big) $ 요소로 인해 $K$ 에 대해 상당한 의존성을 가지지만 여전히 제곱근 안에 존재한다.
• 프레임워크는 충분히 일반적이어서 여러 기존의 PAC-Bayesian 경계를 복원하고 통합할 수 있으며, 초마르팅게일이 강력하고 통합적인 이론적 도구임을 시사한다.
• 이 방법은 전통적인 유한 손실 가정이 실패하는 비유한 회귀 손실로 훈련되는 신경망 및 기타 복잡한 모델에 대한 일반화 보장을 가능하게 한다.
• 이 접근법은 경험 분산의 낮은 경계를 사용하기 때문에 단일 시간 경계에 국한되어 있으며, 모든 시간 단계에 걸친 균일 경계로의 확장을 여전히 열려 있는 도전 과제로 남긴다.