[논문 리뷰] Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes

Jun Yang, Shengyang Sun외 1명|arXiv (Cornell University)|2019. 08. 20.

Machine Learning and Algorithms참고 문헌 41인용 수 7

한 줄 요약

이 논문은 이동된 라데마처 과정을 사용하여 빠른 수렴 속도를 갖는 PAC-Bayes 일반화 경계를 유도하는 새로운 프레임워크를 제안한다. 이는 상수 요소를 제외하고 캐토니의 빠른 $1/m$-속도 경계를 복원하고, 위험 표면의 경험적 평탄도에 의존하는 새로운 경계를 도출한다. 이 방법은 라데마처 복잡도와 PAC-Bayesian 이론을 연결하며, 신경망과 같은 과다매개변수 모델에서의 일반화에 대한 새로운 통찰을 제공한다.

ABSTRACT

The developments of Rademacher complexity and PAC-Bayesian theory have been largely independent. One exception is the PAC-Bayes theorem of Kakade, Sridharan, and Tewari (2008), which is established via Rademacher complexity theory by viewing Gibbs classifiers as linear operators. The goal of this paper is to extend this bridge between Rademacher complexity and state-of-the-art PAC-Bayesian theory. We first demonstrate that one can match the fast rate of Catoni's PAC-Bayes bounds (Catoni, 2007) using shifted Rademacher processes (Wegkamp, 2003; Lecué and Mitchell, 2012; Zhivotovskiy and Hanneke, 2018). We then derive a new fast-rate PAC-Bayes bound in terms of the "flatness" of the empirical risk surface on which the posterior concentrates. Our analysis establishes a new framework for deriving fast-rate PAC-Bayes bounds and yields new insights on PAC-Bayesian theory.

연구 동기 및 목표

• 라데마처 복잡도와 최신 PAC-Bayesian 이론 사이의 격차를 메우기 위해 통합된 분석 프레임워크를 수립하는 것.
• 이동된 라데마처 과정을 사용하여 캐토니의 빠른 수렴 속도 PAC-Bayes 경계를 복원함으로써, 이 접근법이 기존 최고 수준의 결과를 재현할 잠재력을 보여주는 것.
• 사후 분포가 집중된 경험적 위험 표면의 평탄도에 따라 의존하는 새로운 빠른 수렴 속도 PAC-Bayes 경계를 도입하는 것.
• 경험적 과정 이론의 도구를 활용하여 PAC-Bayesian 일반화에 대한 새로운 이론적 통찰을 제공하는 것.
• 특히 확률적 최적화를 통해 훈련되는 깊은 신경망과 같은 과다매개변수 모델에서의 일반화 분석을 위한 새로운 연구 방향을 열어주는 것.

제안 방법

• 저자는 이동된 라데마처 과정—특수한 이동된 경험 과정의 경우에 해당하는 것—을 핵심 분석 도구로 사용하여 경험적 위험와 진짜 위험 사이의 편차를 제한한다.
• 그들은 깁스 분류기를 선형 연산자로 재구성하고, 이동된 라데마처 과정의 尾 꼬리 확률 경계를 적용하여 데이터에 의존하는 일반화 보장을 도출한다.
• 새로운 경계는 사후 분포가 집중된 경험적 위험 표면의 평탄도를 측정함으로써 유도되며, 평탄한 최소값과 일반화 사이의 암묵적 연결을 고려한 평탄도 개념을 기반으로 한다.
• 이 방법은 [21]의 작업을 바탕으로 하되, 그들의 라데마처 복잡도 기반 PAC-Bayes 프레임워크를 빠른 수렴 속도를 달성하도록 확장한다.
• 분석은 농도 부등식과 엄격한 볼록 정규화의 성질을 활용하여 사후 위험의 진짜 위험에서의 편차를 제어한다.
• 이 프레임워크는 유계 및 무계 손실 함수로의 확장을 허용할 정도로 일반적이지만, 본 논문은 0-1 손실에 집중한다.

실험 결과

연구 질문

• RQ1 이동된 라데마처 과정을 사용하여 기존 최고 수준의 결과에 맞추거나 초월하는 빠른 수렴 속도의 PAC-Bayes 경계를 도출할 수 있는가?
• RQ2 경험적 위험 표면의 '평탄도' 개념을 어떻게 형식화할 수 있으며, 이는 PAC-Bayesian 프레임워크 내에서 더 날카운 일반화 경계를 이끌 수 있는가?
• RQ3 경험 과정 기반의 공통 분석 프레임워크를 통해 라데마처 복잡도 이론과 PAC-Bayesian 이론을 통합할 수 있는가?
• RQ4 과다매개변수 모델, 특히 확률적 경사 하강법으로 훈련되는 깊은 신경망에서 위험 표면의 평탄도는 일반화 성능과 어떻게 관련되는가?
• RQ5 이 방법은 무계 손실 함수로 확장될 수 있는가, 또는 특정 학습 알고리즘인 확률적 경사 하강법에 적응시킬 수 있는가?

주요 결과

• 논문은 이동된 라데마처 과정을 사용하여 캐토니의 빠른 수렴 속도 PAC-Bayes 경계를 상수 요소를 제외하고 성공적으로 복원하였으며, 이는 $1/m$-수렴 속도를 달성할 수 있는 이론적 타당성을 입증한다.
• 사후 분포가 집중된 경험적 위험 표면의 평탄도에 명시적으로 의존하는 새로운 빠른 수렴 속도 PAC-Bayes 경계가 도출되었으며, 이는 일반화를 위한 새로운 복잡도 측정 기준을 제공한다.
• 평탄도 기반 경계는 경험적이고 데이터에 의존하므로, 알려지지 않은 데이터 분포에 대한 기대값에 의존하는 이전의 개념보다 더 실용적이다.
• 제안된 프레임워크는 라데마처 과정을 통한 빠른 수렴 속도 PAC-Bayes 경계 유도를 위한 청사진을 제공하며, PAC-Bayesian 일반화에 대한 새로운 이론적 시각을 제공한다.
• 초기 경험적 분석 결과에 따르면, 표준 PAC-Bayes 경계 최적화는 일반화 성능을 떨어뜨릴 수 있으며, 그 이유는 결과로 도출된 사후 분포가 제안된 의미의 평탄하지 않기 때문이다. 이는 경계의 날카움과 일반화 성능 사이에 잠재적인 트레이드오프가 있음을 시사한다.
• 이 방법은 일반적이며 무계 손실 함수로의 확장을 허용할 수 있지만, 이러한 확장은 향후 연구의 열린 방향으로 남아 있다.