[논문 리뷰] Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation

Yuki Ohnishi, Jean Honorio|arXiv (Cornell University)|2020. 02. 25.

Statistical Mechanics and Entropy참고 문헌 31인용 수 5

한 줄 요약

이 논문은 변환 표현과 일반화된 Hammersley-Chapman-Robbins 경계를 사용하여 f-분산과 α-분산에 대한 새로운 측도 변화 부등식을 제안한다. 이는 하위-가우시안, 하위-지수 및 분산이 유계인 손실에 대해 더 날카운 PAC-Bayesian 경계를 도출하고, 몬테카를로 추정기의 비점근적 신뢰구간을 제공하여 일반화 및 머신러닝 모델의 불확실성 정량화 분야에서 기존 결과를 향상시킨다.

ABSTRACT

We introduce several novel change of measure inequalities for two families of divergences: $f$-divergences and $α$-divergences. We show how the variational representation for $f$-divergences leads to novel change of measure inequalities. We also present a multiplicative change of measure inequality for $α$-divergences and a generalized version of Hammersley-Chapman-Robbins inequality. Finally, we present several applications of our change of measure inequalities, including PAC-Bayesian bounds for various classes of losses and non-asymptotic intervals for Monte Carlo estimates.

연구 동기 및 목표

• 다양한 분산, 특히 f-분산과 α-분산에 적용 가능한 측도 변화 부등식의 종합적 프레임워크를 개발하는 것.
• Donsker-Varadhan 및 Hammersley-Chapman-Robbins와 같은 기존 부등식을 더 넓은 분산 가족과 설정으로 일반화하는 것.
• 유계성 가정이 없는 손실 함수에 대해 새로운 PAC-Bayesian 경계를 도출하는 것, 하위-가우시안, 하위-지수 및 분산이 유계인 경우 포함.
• 임의의 기준 측도를 사용하여 몬테카를로 추정기의 비점근적 신뢰구간을 수립하는 것.
• 더 날카운 분산 기반 부등식을 활용하여 일반화 경계의 복잡도 항을 향상시키는 것.

제안 방법

• f-분산의 변환 표현을 활용하여 제약 조건이 있는 및 없는 모든 영역에서 새로운 측도 변화 부등식을 유도하는 것.
• α-분산에 대한 곱셈적 측도 변화 부등식을 도입하여 이전 결과를 일반화하고 새로운 PAC-Bayesian 경계를 가능하게 하는 것.
• Hammersley-Chapman-Robbins 부등식을 χ² 분산에서 전체 α-분산 가족으로 일반화하는 것.
• 사전 분포에서의 분산과 사전 분포 하에서의 모멘트를 사용하여 사후 분포 하에서의 기대 손실을 경계하는 데 유도된 부등식을 적용하는 것.
• 하위-가우시안 및 하위-지수 랜덤 변수에 대한 농도 부등식을 활용하여 샘플에 의존하는 경계를 도출하고 샘플 크기와의 더 나은 의존성을 확보하는 것.
• 임의의 분포 하에서의 기대값을 기준으로 샘플 평균이 집중함을 보여줌으로써 몬테카를로 추정치에 대한 비점근적 신뢰구간을 유도하는 것.

실험 결과

연구 질문

• RQ1 f-분산의 변환 표현을 활용하여 더 날카운 타이트함을 갖춘 새로운 측도 변화 부등식을 도출할 수 있는가?
• RQ2 α-분산 기반 부등식은 어떻게 하위-지수 및 분산이 유계인 손실 함수를 포함하는 PAC-Bayesian 학습에 확장될 수 있는가?
• RQ3 Hammersley-Chapman-Robbins 부등식은 χ² 분산을 초월하여 더 넓은 α-분산 가족으로 일반화될 수 있는가?
• RQ4 이 새로운 부등식은 몬테카를로 추정에서 더 날카운 비점근적 신뢰구간을 구성하는 데 어떤 영향을 미치는가?
• RQ5 유계 또는 꼬리가 두꺼운 손실 함수에 대해 기존 방법보다 더 나은 복잡도 항을 달성하는가?

주요 결과

• 논문은 α-분산에 대한 새로운 곱셈적 측도 변화 부등식을 도출하였으며, 이는 이전 결과를 일반화하고 이전에 다루지 않은 손실 유형에 대한 PAC-Bayesian 경계를 가능하게 한다.
• 하위-지수 손실에 대해 제안된 경계는 기존 하위-가우시안 기반 경계보다 더 날카운 복잡도 항을 갖는다. 특히 샘플 수가 적은 영역에서 유의미한 향상이 있다.
• 일반화된 Hammersley-Chapman-Robbins 부등식은 고전적인 χ² 기반 경계를 전체 α-분산 가족으로 확장하여 불확실성 정량화를 향상시킨다.
• 유계, 하위-가우시안, 하위-지수 및 분산이 유계인 손실에 대해 새로운 PAC-Bayesian 경계가 유도되었으며, 후자 두 가지는 문헌에서 처음으로 제안된 것이다.
• 임의의 기준 측도를 사용하는 몬테카를로 추정에 대한 비점근적 신뢰구간을 위한 새로운 체계가 수립되었으며, 이는 어떤 기준 분포 하에서든 표본 평균이 기대값을 중심으로 집중함을 보여준다.
• 하위-지수 손실에 대한 유도된 경계는 완전히 새로운 것으로, 샘플 크기가 작을 경우 기존 하위-가우시안 기반 경계를 능가한다.