[논문 리뷰] A Limitation of the PAC-Bayes Framework

Roi Livni, Shay Moran|arXiv (Cornell University)|2020. 06. 24.

Machine Learning and Algorithms참고 문헌 34인용 수 4

한 줄 요약

이 논문은 1차원 임계값 분류기의 경우, 비록 O(log(1/δ)/ε) 개의 샘플로 효율적으로 PAC-학습 가능한데도 불구하고, 어떤 알고리즘으로도 비어 있지 않은 일반화 경계를 도출할 수 없음을 보여줌으로써 PAC-Bayes 프레임워크의 근본적 한계를 규명한다. 핵심 결과는 이러한 알고리즘에 대해, 사전 분포나 알고리즘 설계와는 무관하게, 항상 실현 가능한 분포에서 PAC-Bayes 경계가 임의로 커질 수 있다는 것이다.

ABSTRACT

PAC-Bayes is a useful framework for deriving generalization bounds which was introduced by McAllester ('98). This framework has the flexibility of deriving distribution- and algorithm-dependent bounds, which are often tighter than VC-related uniform convergence bounds. In this manuscript we present a limitation for the PAC-Bayes framework. We demonstrate an easy learning task that is not amenable to a PAC-Bayes analysis. Specifically, we consider the task of linear classification in 1D; it is well-known that this task is learnable using just $O(\log(1/δ)/ε)$ examples. On the other hand, we show that this fact can not be proved using a PAC-Bayes analysis: for any algorithm that learns 1-dimensional linear classifiers there exists a (realizable) distribution for which the PAC-Bayes bound is arbitrarily large.

연구 동기 및 목표

• 학습 가능한 개념 클래스를 분석하는 데 있어 PAC-Bayes 프레임워크의 근본적 한계를 규명하고 이를 입증하는 것.
• 간단하고 효율적으로 학습 가능한 클래스인 1D 임계값 조차도 비어 있지 않은 PAC-Bayes 경계로 분석될 수 없다는 것을 보여주는 것.
• 임의의 분포에 의존하는 사전 분포와 어떤 학습 알고리즘을 허용하더라도 이 한계가 유지된다는 것을 입증하는 것.
• PAC-학습 가능성과 PAC-Bayes 적합성 사이의 괴리를 부각시키며, 이 프레임워크의 보편성에 대한 가정을 도전하는 것.
• 안정적 또는 은닉된 편향 기반 학습 알고리즘에서의 일반화를 분석하기 위한 보다 다른 프레임워크의 탐색을 촉진하는 것.

제안 방법

• 모든 학습 알고리즘이 출력하는 길리브스-분류기의 경우, 임의의 크기의 도메인에서 비공식적인 PAC-Bayes 경계가 무한대가 되는 실현 가능한 1D 임계값 예제에 대한 분포를 구성한다.
• 구간의 구조와 홀수 인덱스를 가진 점들에 기반한 확률적 추론을 통해 오류 사건의 확률을 한정한다.
• 알론 등(2019)의 미세한 차별적 보안 학습에 영감을 얻어, 후행 분포와 사전 분포 간의 KL 발산에 하한을 도출하기 위한 기법을 적용한다.
• 후보 임계값의 집합에 대한 샘플링 기반 추론을 통해 기대 KL 발산이 도메인 크기와 함께 증가해야 한다는 점을 보여준다.
• 임계값에 대해 일致한 경험적 리스크 최소화자(ERMs)가 충분히 PAC-학습 가능하다는 사실을 활용하지만, 여전히 PAC-Bayes 분석에서는 실패한다는 점을 활용한다.
• 경계의 발산이 Ω((q₂−q₁)²b/log b)임을 입증함으로써, 도메인 크기가 증가함에 따라 경계가 무한대가 되며 균일하게 작게 유지될 수 없다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 PAC-Bayes 프레임워크는 1차원 임계값 분류기의 클래스에 대해 비어 있지 않은 일반화 경계를 제공할 수 있는가?
• RQ2 분포에 의존하는 사전 분포를 허용하더라도, 1D 임계값에 대해 비어 있지 않은 PAC-Bayes 경계로 인증 가능한 학습 알고리즘이 존재하는가?
• RQ3 1D 임계값에 대해 매우 효율적인 PAC 학습 알고리즘이 존재하는 것은, PAC-Bayes도 그 일반화를 인증할 수 있음을 의미하는가?
• RQ4 일致하고 낮은 복잡도를 가진 학습자들의 일반화 행동을 포괄하는 데 있어 PAC-Bayes 프레임워크의 구조적 한계는 무엇인가?
• RQ5 PAC-Bayes 분석은 안정적 또는 내삽형 알고리즘에서의 빠른 수렴 속도를 가지는 분포에 의존하는 학습률을 포괄할 수 있는가?

주요 결과

• 1차원 임계값의 클래스는 도메인 크기에 영향을 받지 않고 O(log(1/δ)/ε)의 샘플 복잡도로 PAC-학습 가능하다.
• 1D 임계값을 학습하는 모든 알고리즘에 대해, 그에 대한 PAC-Bayes 경계가 임의로 커지는 실현 가능한 분포가 존재한다.
• 이 한계는 사전 분포를 포함하여 분포에 의존하는 모든 사전 분포를 사용하더라도 유지된다.
• PAC-Bayes 경계의 KL 발산 항목은 Ω((q₂−q₁)²b/log b)로 증가하여, 큰 도메인에서는 발산이 무한대가 된다.
• 이 결과는 어떤 PAC-Bayes 일반화 경계도 특정 실현 가능한 분포에서 1-Nearest-Neighbor나 기타 일치하는 학습자들의 성능을 따라잡을 수 없다는 것을 시사한다.
• 이 프레임워크는 1-Nearest-Neighbor와 같은 내삽형 알고리즘의 일반화를 포괄하지 못하며, 이는 그들의 강력한 경험적 성능에도 불구하고 그렇다.