[논문 리뷰] Bayesian two-sample tests

Karsten Borgwardt, Zoubin Ghahramani|ArXiv.org|2009. 06. 22.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 13

한 줄 요약

이 논문은 지수족 분포를 위한 파rametric 방법과 Dirichlet process mixture models (DPMs)를 사용한 비모수적 방법을 포함하는 두 가지 베이지안 이중표본 검정을 제안한다. 이 방법은 부스팅을 피하고 베이지안 계층적 군집화와 같은 근사 방법을 통해 효율적인 추론을 가능하게 하는 마진형 우도를 통한 베이즈 요인을 계산한다. 이는 빈도주의 검정에 대한 원칙적이고 일반적인 대안을 제공한다.

ABSTRACT

In this paper, we present two classes of Bayesian approaches to the two-sample problem. Our first class of methods extends the Bayesian t-test to include all parametric models in the exponential family and their conjugate priors. Our second class of methods uses Dirichlet process mixtures (DPM) of such conjugate-exponential distributions as flexible nonparametric priors over the unknown distributions.

연구 동기 및 목표

• 응용 분야에 특화된 가정 없이 일반적인 목적의 베이지안 프레임워크를 개발하는 것.
• 공액 사전분포를 가진 모든 지수족 분포로 베이지안 t-검정을 정규 분포를 초월해 일반화하는 것.
• 알 수 없는 분포를 탄력적으로 모델링하기 위해 Dirichlet process mixture models (DPMs)를 사용한 비모수적 베이지안 접근법을 제안하는 것.
• DPM 사전분포 하에서 동일한 분포와 다른 분포 사이의 모델 비교를 위한 베이즈 요인을 마진형 우도를 통해 계산하는 것.
• 베이지안 계층적 군집화(Bayesian hierarchical clustering, BHC)와 같은 근사 방법을 활용하여 효율적인 추론을 가능하게 하여 계산 비용을 O(n²) 이하로 낮추는 것.

제안 방법

• 공액 사전분포를 가진 지수족 분포를 사용하는 파arametric 베이지안 이중표본 검정을 제안하여, 베이지안 t-검정을 일반화한다.
• 알 수 없는 분포 q₁ 및 q₂에 대한 비모수적 사전분포로 Dirichlet process mixture models (DPMs)를 사용하여 복잡한 데이터를 탄력적으로 모델링할 수 있도록 한다.
• 베이즈 요인 χ를 DPM 사전분포에 대한 통합을 통해 계산하며, P(X|α,β)P(Y|α,β) / P(X,Y|α,β)의 비율로 표현한다.
• DPM 하에서의 증거를 계산하기 위해 p(D|α,β) = ∑_{v∈V} p(v|α)p(D|v,β) 식을 사용하며, 여기서 V는 모든 데이터 분할의 집합이다.
• DPM 하에서의 마진형 확률 추정을 위한 근사 추론으로 Bayesian hierarchical clustering (BHC)를 적용하여 중간 크기의 n에 대해 O(n²) 실행 시간을 달성한다.
• 성분 파ram터에 대해 공액 사전분포를 활용하고 혼합 비율에 대해 Dirichlet 사전분포를 사용하여 마진형 우도의 계산이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 베이지안 t-검정은 정규 분포 가정을 초월하여 모든 지수족 분포로 어떻게 일반화될 수 있는가?
• RQ2 Dirichlet process 혼합 모델은 두 표본 문제에서 알 수 없는 분포를 탄력적으로 모델링할 수 있는 비모수적 사전분포로 활용될 수 있는가?
• RQ3 DPM 사전분포 하에서 마진형 우도를 효율적으로 계산하여 베이즈 요인 계산을 어떻게 가능하게 할 수 있는가?
• RQ4 부스팅이 필요한 빈도주의 접근법과 비교해 본다면, 제안된 베이지안 이중표본 검정의 계산 효율성은 어떠한가?
• RQ5 베이지안 계층적 군집화(Bayesian hierarchical clustering)와 같은 근사 추론 방법이 실제 데이터에 대해 정확하고 확장 가능한 베이즈 요인을 제공할 수 있는가?

주요 결과

• 파arametric 베이지안 이중표본 검정은 모든 지수족 분포로 베이지안 t-검정을 일반화하여 정규성 가정을 초월한 광범위한 적용 가능성을 제공한다.
• DPM를 사용한 비모수적 검정은 분포의 형태를 가정하지 않고도 복잡한 분포를 탄력적으로 모델링할 수 있어, 파arametric 가정에 대한 강건한 대안을 제공한다.
• 베이즈 요인은 χ = P(X|α,β)P(Y|α,β) / P(X,Y|α,β)로 계산되며, 데이터 구성에 대한 분할 기반 합산을 통해 마진형 우도가 유도된다.
• 베이지안 계층적 군집화(Bayesian hierarchical clustering, BHC)를 통한 근사 추론을 통해 마진형 확률이 O(n²)로 계산되어 중간 크기의 데이터셋에 대해 확장 가능하다.
• 귀무분포를 추정하기 위해 부스팅이 필요로 하지 않아, 빈도주의 이중표본 검정보다 계산 비용이 더 낮은 효율적인 대안을 제공한다.
• 근사 기법을 활용하여 통계적으로 엄밀하고 계산적으로 실현 가능한 원칙적인 일반 목적의 이중표본 문제 해결 방법을 제공한다.