[논문 리뷰] A Tight Excess Risk Bound via a Unified PAC-Bayesian-Rademacher-Shtarkov-MDL Complexity

Peter Grünwald, Nishant A. Mehta|Data Archiving and Networked Services (DANS)|2017. 10. 21.

Machine Learning and Algorithms참고 문헌 27인용 수 7

한 줄 요약

이 논문은 데이터에 독립적인 Rademacher 복잡도, 정보 복잡도, 그리고 정규화된 최대 우도(NML) 복잡도를 연결하는 통합된 PAC-Bayesian–Rademacher–Shtarkov–MDL 복잡도를 도입한다. 이 새로운 복잡도를 통해 VC 및 큰 다항식 엔트로피 클래스에 대해 베르누이 조건 하에서 최적의 속도를 일반화하는 날카운 excess risk 한계를 확립하며, 모델 복잡도와 '쉬움' 조건을 명확히 분리한다.

ABSTRACT

We present a novel notion of complexity that interpolates between and generalizes some classic existing complexity notions in learning theory: for estimators like empirical risk minimization (ERM) with arbitrary bounded losses, it is upper bounded in terms of data-independent Rademacher complexity; for generalized Bayesian estimators, it is upper bounded by the data-dependent information complexity (also known as stochastic or PAC-Bayesian, $\mathrm{KL}( ext{posterior} \operatorname{\|} ext{prior})$ complexity. For (penalized) ERM, the new complexity reduces to (generalized) normalized maximum likelihood (NML) complexity, i.e. a minimax log-loss individual-sequence regret. Our first main result bounds excess risk in terms of the new complexity. Our second main result links the new complexity via Rademacher complexity to $L_2(P)$ entropy, thereby generalizing earlier results of Opper, Haussler, Lugosi, and Cesa-Bianchi who did the log-loss case with $L_\infty$. Together, these results recover optimal bounds for VC- and large (polynomial entropy) classes, replacing localized Rademacher complexity by a simpler analysis which almost completely separates the two aspects that determine the achievable rates: 'easiness' (Bernstein) conditions and model complexity.

연구 동기 및 목표

• 학습 이론에서 산발적인 복잡도 개념—Rademacher, PAC-Bayesian, Shtarkov/NML—을 하나의 프레임워크로 통합하기 위해.
• ERM, 베이지안 추정량, 그리고 페널티가 부여된 ERM에 대해 기존의 한계를 포함하는 날카운 excess risk 한계를 도출하기 위해.
• 이전의 $L_∞$ 엔트로피 기반 결과를 초월해 excess risk와 $L_2(P)$ 엔트로피 사이의 관계를 일반화하기 위해.
• 지역화된 Rademacher 복잡도에 의존하지 않고, 베르누이 조건 하에서 큰 클래스에 대해 최소 최대 최적 속도를 복원하기 위해.
• 모델 복잡도와 '쉬움'(베르누이) 조건이 학습 속도를 결정하는 데 미치는 영향을 명확히 하기 위해.

제안 방법

• Rademacher 복잡도와 정보 복잡도 사이를 조율하는 새로운 복잡도 측정법인 $\text{comp}_\eta(\mathcal{F}, \hat{\Pi}, w, Z^n)$을 제안한다.
• 모든 추정량 $\hat{\Pi}$의 안내된 excess risk를 이 새로운 복잡도와 경험 위험에 연결하는 주요 한계를 확립한다.
• Shtarkov 적분(최소 최대 로그 손실 회귀)에서 $L_2(P)$ 엔트로피로 이어지는 Rademacher 복잡도를 연결하는 연쇄적 한계를 사용한다.
• Koltchinskii의 결과를 적용하여 Rademacher 복잡도와 경험 엔트로피 사이의 연결을 활용해 이전의 $L_∞$ 엔트로피 결과를 $L_2$로 일반화한다.
• 페널티가 부여된 ERM의 경우 새로운 복잡도가 NML 복잡도로 축소되며, 베이지안 추정량의 경우 정보 복잡도로 축소됨을 보여준다.
• 명시적인 분할 또는 체인 기법이 필요로 하는 방법과는 달리, 고정점 없는 튜닝 전략을 사용하여 분석을 단순화한다.

실험 결과

연구 질문

• RQ1 단일 복잡도 측정법이 excess risk 한계에서 PAC-Bayesian, Rademacher, NML 복잡도를 통합할 수 있는가?
• RQ2 새로운 복잡도는 $L_2(P)$ 엔트로피와 어떻게 관련되어 있으며, 이는 $L_∞$ 엔트로피 기반 접근보다 더 날카운 한계를 이끌 수 있는가?
• RQ3 제안된 프레임워크는 지역화된 Rademacher 복잡도 없이, 베르누이 조건 하에서 큰 클래스에 대해 최소 최대 최적 속도를 복원할 수 있는가?
• RQ4 임의의 유계 손실에 대해 Shtarkov 적분(최소 최대 로그 손실 회귀)과 Rademacher 복잡도 사이의 관계는 무엇인가?
• RQ5 이 새로운 프레임워크는 비유계 손실이나 Audibert의 스타 추정량과 같은 집합 방법을 다루는 데까지 어떻게 확장될 수 있는가?

주요 결과

• 제안된 복잡도 $\text{comp}_\eta$는 Rademacher 복잡도, 정보 복잡도, NML 복잡도를 일반화하며, 통합된 excess risk 한계를 제공한다.
• 정리 4의 주요 한계는 안내된 excess risk를 경험 위험과 새로운 복잡도에 연결하며, VC 및 큰 다항식 엔트로피 클래스에 대해 날카운 속도를 도출한다.
• 논문은 최소 최대 로그 손실 회귀(Shtarkov 적분)와 $L_2(P)$ 엔트로피 사이에 새로운 연결을 확립하며, 이는 이전의 $L_∞$ 엔트로피 결과를 일반화한다.
• 이 프레임워크는 모델 복잡도와 '쉬움'(베르누이) 조건의 영향을 명확히 분리하여, 지역화된 Rademacher 복잡도보다 더 단순한 분석을 가능하게 한다.
• 페널티가 부여된 ERM의 경우 새로운 복잡도가 NML 복잡도로 축소되며, 로그 손실 설정에서 최소 최대 최적 속도를 복원한다.
• Audibert와 Bousquet(2007)와 달리 체인 기법을 명시적으로 사용하지 않지만 여전히 최적의 속도를 달성함으로써, 더 투명하고 모듈화된 분석이 가능함을 시사한다.