[논문 리뷰] Two-sample Bayesian nonparametric goodness-of-fit test

Luai Al Labadi, Emad Masuadi외 1명|arXiv (Cornell University)|2014. 11. 13.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 10

한 줄 요약

이 논문은 농도 계수 1인 표준 정규 분포를 중심으로 한 근사 디리클레 과정 표본 간 코모고로프 거리에 기반한 새로운 베이지안 비모수적 두 표본 적합도 검정을 제안한다. 이 방법은 고전적 검정들보다 뛰어난 검정력을 보이며, 모든 검토된 시나리오에서 코모고로프-스미르노프 검정을 일관되게 능가하고, 디리클레 과정의 사전 분포 설정에 대해 강건성을 보인다.

ABSTRACT

In recent years, Bayesian nonparametric statistics has gathered extraordinary attention. Nonetheless, a relatively little amount of work has been expended on Bayesian nonparametric hypothesis testing. In this paper, a novel Bayesian nonparametric approach to the two-sample problem is established. Precisely, given two samples $\mathbf{X}=X_1,\ldots,X_{m_1}$ $\overset {i.i.d.} \sim F$ and $\mathbf{Y}=Y_1,\ldots,Y_{m_2} \overset {i.i.d.} \sim G$, with $F$ and $G$ being unknown continuous cumulative distribution functions, we wish to test the null hypothesis $\mathcal{H}_0:~F=G$. The method is based on the Kolmogorov distance and approximate samples from the Dirichlet process centered at the standard normal distribution and a concentration parameter 1. It is demonstrated that the proposed test is robust with respect to any prior specification of the Dirichlet process. A power comparison with several well-known tests is incorporated. In particular, the proposed test dominates the standard Kolmogorov-Smirnov test in all the cases examined in the paper.

연구 동기 및 목표

• 두 표본 설정에서 두 알려지지 않은 연속 누적분포함수의 동일성을 검정하기 위한 베이지안 비모수적 접근법을 개발하는 것.
• 특히 두 표본 문제에 대해 베이지안 비모수적 가설 검정 방법의 부족을 해결하는 것.
• 프리퀀티스트 비모수적 검정(예: 코모고로프-스미르노프 검정)의 영향력 있고 민감하며 강건한 대안을 만드는 것.
• 시뮬레이션 연구와 기존 검정들과의 검정력 비교를 통해 방법의 성능을 평가하는 것.
• 디리클레 과정의 기저 측도와 농도 계수에 대한 변화에 대한 검정의 강건성을 탐색하는 것.

제안 방법

• 기본 측도가 표준 정규 분포이고 농도 계수 1인 디리클레 과정의 근사 표본을 사용하여 알려지지 않은 분포 F와 G를 모델링한다.
• 두 표본의 경험적 누적분포함수와 그에 해당하는 디리클레 과정 근사 간의 코모고로프 거리를 계산한다.
• 검정 통계량은 두 디리클레 과정 표본 간의 거리에 기반하며, 이는 두 분포 간의 이질성 정도를 측정하는 데 사용된다.
• 유사한 거리가 근사적으로 근사된 몬테카를로 시뮬레이션을 통해 귀무가설 하에서 관측된 거리와 비교됨으로써 p-값을 추정한다.
• 이 방법은 디리클레 과정의 점근적 성질을 활용하여, 표본 크기가 증가함에 따라 귀무가설 하에서 거리가 0으로 수렴함을 보장한다.
• 기본 측도(예: 균일 분포 대비 정규 분포)와 농도 계수(예: a=1 대비 a=50)를 변화시켜 강건성을 평가하였으며, 구성에 관계없이 일관된 결과를 얻었다.

실험 결과

연구 질문

• RQ1 코모고로프 거리와 디리클레 과정 근사를 사용하여 베이지안 비모수적 두 표본 검정을 구성할 수 있는가?
• RQ2 제안된 검정은 코모고로프-스미르노프 검정과 같은 고전적 비모수적 검정보다 검정력이 뛰어나게 되는가?
• RQ3 제안된 검정은 디리클레 과정의 기저 측도와 농도 계수의 변화에 대해 강건한가?
• RQ4 기존의 빈도주의 검정에서 흔히 발생하는 p-값에 의한 귀무가설에 대한 증거 과대평가 문제를 이 방법은 피할 수 있는가?
• RQ5 이 방법은 다변량 또는 케일링된 자료 설정으로 일반화될 수 있는가?

주요 결과

• 제안된 베이지안 비모수적 검정은 논문에서 검토한 모든 시뮬레이션 시나리오에서 표준 코모고로프-스미르노프 검정을 일관되게 능가하는 검정력을 보였다.
• 검정은 디리클레 과정의 기저 측도 변화에 대해 강건하다. a=1일 때 표준 정규 분포에서 균일 분포로 기저 측도를 전환하더라도 거리와 p-값(U)은 그대로 유지된다.
• 농도 계수를 a=1에서 a=50으로 증가시키면 거리와 p-값(U)이 모두 감소하지만, 검정 결론은 그대로 유지되어 이에 대한 강건성이 있음을 시사한다.
• 이 방법은 전통적인 빈도주의 의미의 p-값에 의존하지 않아, 귀무가설에 대한 증거 과대평가 문제를 완화할 수 있다.
• 점근 이론은 검정의 타당성을 뒷받침하며, 표본 크기가 증가함에 따라 귀무가설 하에서 코모고로프 거리가 0으로 수렴함을 보여준다.
• 이 방법은 임의의 두 표본 문제에 적용 가능하며 표본 크기와 무관하게 유효하며, 경험적 분포함수 기반의 분포 자유 가정에 의존하지 않는다.