[논문 리뷰] On the role of data in PAC-Bayes bounds

Gintare Karolina Dziugaite, Kyle Hsu외 3명|arXiv (Cornell University)|2020. 06. 19.

Machine Learning and Algorithms참고 문헌 15인용 수 19

한 줄 요약

이 논문은 데이터에 의존하는 사전분포—특히 경험적 위험 계산에 사용되지 않는 훈련 데이터의 부분집합에 조건화된 사전분포—가 고전적인 오라클 사전분포(기대 사후분포)보다 훨씬 더 날카운 선형 PAC-Bayes 일반화 경계를 제공할 수 있음을 보여준다. 주요 기여는 이러한 데이터에 의존하는 사전분포가 단순한 히ュ리스틱이 아니라, 특히 확률적 경사 하강법을 사용하는 비볼록 학습 설정에서 비어 있지 않은 경계를 확보하기 위해 필수적이라는 것을 입증한 것이다.

ABSTRACT

The dominant term in PAC-Bayes bounds is often the Kullback--Leibler divergence between the posterior and prior. For so-called linear PAC-Bayes risk bounds based on the empirical risk of a fixed posterior kernel, it is possible to minimize the expected value of the bound by choosing the prior to be the expected posterior, which we call the oracle prior on the account that it is distribution dependent. In this work, we show that the bound based on the oracle prior can be suboptimal: In some cases, a stronger bound is obtained by using a data-dependent oracle prior, i.e., a conditional expectation of the posterior, given a subset of the training data that is then excluded from the empirical risk term. While using data to learn a prior is a known heuristic, its essential role in optimal bounds is new. In fact, we show that using data can mean the difference between vacuous and nonvacuous bounds. We apply this new principle in the setting of nonconvex learning, simulating data-dependent oracle priors on MNIST and Fashion MNIST with and without held-out data, and demonstrating new nonvacuous bounds in both cases.

연구 동기 및 목표

• 데이터에 의존하는 사전분포가 고전적인 오라클 사전분포를 초월하여 선형 PAC-Bayes 경계의 날카움을 향상시킬 수 있는지 조사하기.
• 데이터에 의존하는 사전분포가 PAC-Bayes 경계에서 기대 사후분포보다 우월해지는 조건을 규명하기.
• 데이터에 의존하는 사전분포가 비볼록 학습 환경(예: MNIST 및 패션 MNIST)에서 비어 있지 않은 경계를 도출하는 데 있어 실증적으로 검증하기.
• 사전분포 선택에서 데이터의 역할을 분명히 하여 분포 기반 또는 가짜 샘플 기반 사전분포와 구분하기.
• 진정한 데이터 분포가 알려져 있더라도, 데이터를 활용해 사전분포를 구성하는 것이 비어 있지 않은 경계를 확보하기 위해 필수적임을 보여주기.

제안 방법

• 훈련 데이터의 부분집합 J에 조건화된 사전분포를 정의함으로써 데이터에 의존하는 사전분포에 대한 공식적 프레임워크를 제안하며, J는 경험적 위험 계산에서 제외된다.
• 표준 오라클 사전분포와 구별되는, 부분집합 데이터를 조건으로 한 사후분포의 기대값인 '데이터에 의존하는 오라클 사전분포' 개념을 도입한다.
• 해당 데이터에 의존하는 사전분포가 표준 오라클 사전분포보다 기대 경계를 향상시키는 데 필요한 필수 및 충분조건(정리 3.1)을 유도한다.
• 감소하는 학습률을 갖는 선형 모델에서의 SGD 모델에 프레임워크를 적용하며, 초기 데이터 포인트가 사후분포에 강한 영향을 미친다.
• 보류된 데이터를 사용해 데이터에 의존하는 사전분포를 추정하고, 가짜 샘플이 있는지 없는지에 따라 경계를 비교함으로써 MNIST 및 패션 MNIST에서 방법을 실증적으로 평가한다.
• 고정된 분산을 갖는 가우시안 사전분포를 사용하고, 초기 데이터 포인트에 대한 조건부 기대값을 최적화하여 데이터에 의존하는 사전분포를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 경험적 위험 계산에 사용되지 않는 훈련 데이터의 부분집합을 사용해 구성된 데이터에 의존하는 사전분포가, 표준 오라클 사전분포보다 더 날카운 선형 PAC-Bayes 경계를 도출할 수 있는가?
• RQ2 비어 있지 않은 경계를 확보하기 위해 사전분포 구성에 데이터를 사용하는 것이 필요한 조건은 무엇인가?
• RQ3 경험적 위험 계산에서 데이터를 제거함으로써 발생하는 초과 편향에 비해, 데이터에 의존하는 사전분포에서 얻는 정보율 증가율은 얼마나 되는가?
• RQ4 실제로 히ュ리스틱 방식으로 구성된 데이터에 의존하는 사전분포는 최적의 데이터에 의존하는 사전분포를 어느 정도 근사할 수 있는가?
• RQ5 데이터에 의존하는 사전분포는 이미지 데이터셋에서 SGD를 적용하는 비볼록 학습 시나리오에서 비어 있지 않은 경계를 가능하게 할 수 있는가?

주요 결과

• 표준 오라클 사전분포(기대 사후분포)는 항상 최적은 아니며, 데이터에 의존하는 사전분포는 훨씬 더 날카운 경계를 도출할 수 있다.
• 감소하는 학습률을 갖는 SGD 모델에서 오라클 사전분포는 비어 있지 않은 경계를 도출하지 못하지만, 초기 데이터 포인트에 기반한 데이터에 의존하는 사전분포는 비어 있지 않은 경계를 도출할 수 있다.
• 데이터에 의존하는 사전분포의 우월성은 초기 데이터에 조건화함으로써 얻는 정보율 증가율이 그 데이터를 위험 계산에서 제거함으로써 발생하는 초과 편향을 초월할 경우에 나타난다.
• MNIST 및 패션 MNIST에서의 실증 결과는, 가짜 샘플이 없더라도 데이터에 의존하는 사전분포가 비어 있지 않은 경계를 도출함을 보여주며, 이 경우에서 데이터 의존성은 분포 의존성보다 더 큰 영향을 미친다.
• 이전에는 공식적으로 정당화되지 않았지만, 데이터를 활용해 사전분포를 구성하는 히ュ리스틱 방식이 이론적으로 타당하며, 특정 설정에서 날카운 경계를 확보하기 위해 필수적임을 입증한다.
• 제안된 방법은 기존의 PAC-Bayes 경계가 KL 발산 항이 크기 때문에 실패하는 비볼록 학습 환경에서도 비어 있지 않은 경계를 가능하게 한다.