[논문 리뷰] Bayesian fractional posteriors

Anirban Bhattacharya, Debdeep Pati외 1명|arXiv (Cornell University)|2016. 11. 03.

Gaussian Processes and Bayesian Inference참고 문헌 43인용 수 8

한 줄 요약

이 논문은 분수형 우도(우도를 1보다 작은 거듭제곱으로 승진시킨 것)를 통해 갱신되는 베이지안 분수형 우도—즉, 우도 분포—를 소개하고, 잘못된 모형에서의 수축 성질을 확립한다. 주요 기여는 Kullback-Leibler 이웃 영역에 대한 사전 질량 조건을 제안함으로써, 스크린 구조나 검정 함수를 요구하지 않고도 빈도주의 수축을 보장하는 것이다. 이는 더 넓은 사전 선택과 비모수적 회귀 및 밀도 추정에서 더 날카로운 오라클 부등식을 가능하게 한다.

ABSTRACT

We consider the fractional posterior distribution that is obtained by updating a prior distribution via Bayes theorem with a fractional likelihood function, a usual likelihood function raised to a fractional power. First, we analyze the contraction property of the fractional posterior in a general misspecified framework. Our contraction results only require a prior mass condition on certain Kullback-Leibler (KL) neighborhood of the true parameter (or the KL divergence minimizer in the misspecified case), and obviate constructions of test functions and sieves commonly used in the literature for analyzing the contraction property of a regular posterior. We show through a counterexample that some condition controlling the complexity of the parameter space is necessary for the regular posterior to contract, rendering additional flexibility on the choice of the prior for the fractional posterior. Second, we derive a novel Bayesian oracle inequality based on a PAC-Bayes inequality in misspecified models. Our derivation reveals several advantages of averaging based Bayesian procedures over optimization based frequentist procedures. As an application of the Bayesian oracle inequality, we derive a sharp oracle inequality in the convex regression problem under an arbitrary dimension. We also illustrate the theory in Gaussian process regression and density estimation problems.

연구 동기 및 목표

• 잘못된 비독립 동일분포 모형에서의 베이지안 분수형 우도에 대한 우도 수축을 확립하기 위해.
• 기존의 스크린 및 검정 함수 구조를 피하는 최소 조건을 규명하기 위해.
• 잘못된 설정에서 PAC-Bayes 이론을 활용해 새로운 베이지안 오라클 부등식을 유도하기 위해.
• 최적화 기반 빈도주의 절차에 비해 평균 기반 베이지안 방법의 성능 향상을 입증하기 위해.
• 이론적 결과를 볼록 회귀, 가우시안 프로세스 회귀, 밀도 추정에 적용하여 근미니마 수렴 속도를 명확히 하기 위해.

제안 방법

• 논문은 Rényi 산란도를 사용하여 수축을 분석하고, α < 1 인 분수형 우도에 초점을 맞춘다.
• 수축 속도는 진짜 또는 최소화자 분포의 Kullback-Leibler 이웃 영역에 할당된 사전 질량에 의해 결정된다.
• PAC-Bayes 부등식을 활용하여 베이지안 오라클 부등식을 도출함으로써, 우도 집중과 리스크 최소화를 연결한다.
• 스크린이나 검정 함수를 구축하지 않고, 사전 질량과 우도의 尾행동에 의존한다.
• 이론적 결과는 볼록 구조 모형(예: 볼록 회귀)에 적용되며, 메트릭 엔트로피와 사전 집중 논증을 사용한다.
• 밀도 추정 및 첨부된 꼬리가 두꺼운 사전을 가진 회귀에서 예시를 통해 프레임워크를 검증하며, 분수형 우도에 대해 증명 가능한 근미니마 수렴 속도를 보여준다.

실험 결과

연구 질문

• RQ1 잘못된 모형에서 분수형 우도가 Kullback-Leibler 최소화자로 수축하는 조건은 무엇인가?
• RQ2 스크린이나 검정 함수를 구축하지 않더라도 우도 수축을 보장할 수 있는가?
• RQ3 분수형 우도는 정규 우도에 비해 사전의 유연성과 수축 속도 측면에서 어떻게 다른가?
• RQ4 Rényi 산란도와 사전 질량은 수축 행동을 결정하는 데 어떤 역할을 하는가?
• RQ5 잘못된 모형에서 빈도주의 최적화 기반 방법보다 우수한 성능을 보이는 베이지안 오라클 부등식을 도출할 수 있는가?

주요 결과

• 분수형 우도는 Kullback-Leibler 이웃 영역에 할당된 사전 질량에 의해 결정되는 수축 속도를 보이며, 스크린 구조가 필요 없어진다.
• 수축 속도는 날카롭고, 임의의 차원에서 볼록 회귀에서 근미니마 성능에 가까운 성능을 달성한다.
• 밀도 추정에서 두꺼운 꼬리를 가진 하이퍼사전을 허용하며, 이는 정규 우도가 집중하지 못하는 경우에도 가능하다.
• PAC-Bayes를 활용해 새로운 베이지안 오라클 부등식을 도출하였으며, 이는 베이지안 평균화가 빈도주의 최적화보다 우월한 점을 드러낸다.
• 가우시안 프로세스 회귀와 밀도 추정에서, 분수형 우도는 온건한 조건 하에서도 근미니마 수렴 속도를 달성한다.
• 이론적으로 분수형 우도는 정규 우도와 달리 사전 선택의 추가적인 탄력성을 가능하게 한다.