[논문 리뷰] A Generalization of the Savage-Dickey Density Ratio for Testing Equality and Order Constrained Hypotheses

Joris Mulder, Eric‐Jan Wagenmakers외 1명|arXiv (Cornell University)|2020. 04. 21.

Statistical Methods in Clinical Trials참고 문헌 23인용 수 6

한 줄 요약

이 논문은 파ameter에 대한 등가 제약과 순서 제약을 모두 포함한 가설 검정을 위해 Savage-Dickey 밀도 비율을 일반화한다. MCMC를 통해 근사된 사후밀도와 사전밀도를 이용해 근사된 마진널 리크리언스 계산 없이 효율적인 베이즈 요인 계산이 가능하게 한다. 이 방법은 제약 조건이 있는 모형과 없는 모형에 대해 독립적으로 사전분포를 설정할 수 있도록 하면서도 계산 효율성을 유지한다. 이는 다변량 t-검정과 다항모형에서 정확한 분석적 및 시뮬레이션 기반 검증을 통해 입증되었다.

ABSTRACT

The Savage-Dickey density ratio is a specific expression of the Bayes factor when testing a precise (equality constrained) hypothesis against an unrestricted alternative. The expression greatly simplifies the computation of the Bayes factor at the cost of assuming a specific form of the prior under the precise hypothesis as a function of the unrestricted prior. A generalization was proposed by Verdinelli and Wasserman (1995) such that the priors can be freely specified under both hypotheses while keeping the computational advantage. This paper presents an extension of this generalization when the hypothesis has equality as well as order constraints on the parameters of interest. The methodology is used for a constrained multivariate t test using the JZS Bayes factor and a constrained hypothesis test under the multinomial model.

연구 동기 및 목표

• 베이지안 가설 검정에서 등가 제약을 넘어서 순서 제약까지 포함할 수 있도록 Savage-Dickey 밀도 비율을 일반화하는 것.
• 마진널 리크리언스 계산을 요구하지 않고도 베이즈 요인 추정의 계산 효율성을 유지하는 것.
• 제약 조건이 있는 모형과 없는 모형에 대해 사전분포를 독립적으로 설정할 수 있도록 하여 원래의 Savage-Dickey 접근법의 핵심 한계를 극복하는 것.
• 다변량 및 범주형 모형에서 복잡한 제약 조건이 있는 가설을 검정하기 위한 실용적인 프레임워크를 제공하는 것.
• 등가 제약이 있는 다변량 t-검정과 다항모형에서의 응용을 통해 방법의 타당성을 분석하고, 분석적 및 시뮬레이션 기반 결과를 통합하여 검증하는 것.

제안 방법

• 제약 조건이 있는 모형과 없는 모형의 사전밀도 비율에 대한 기댓값을 포함한 일반화된 베이즈 요인 표현식을 제안한다.
• MCMC 샘플을 이용해 제약 조건이 있는 근본가설 값에서의 사후밀도와 사전밀도를 추정함으로써, 마진널 리크리언스 계산 없이도 효율적인 계산을 가능하게 한다.
• JZS 베이즈 요인을 활용하여 공액 사전분포와 MCMC 샘플링을 적용한 제약 조건이 있는 다변량 t-검정에 방법을 적용한다.
• 다항모형에 대해 이 방법을 적응적으로 적용하기 위해, 제약 조건이 있는 파라미터를 Dirichlet 사전분포로 모델링하고, 몬테카를로 샘플링을 통해 사후밀도를 계산한다.
• 다변량 모형에서 공분산 행렬을 갱신하기 위해 메트로폴리스-해스팅스 샘플링을 사용하여 양의 정부호성과 파rameter 공간의 효율적 탐색을 보장한다.
• 베이즈 요인을 제약 조건이 있는 근본가설 값에서의 사후밀도 대 사전밀도 비율과, 제약 조건이 있는 모형에서의 사전밀도 비율 기댓값의 곱으로 계산하며, 순서 제약 조건에 따라 조정한다.

실험 결과

연구 질문

• RQ1 베이지안 가설 검정에서 등가 제약뿐만 아니라 순서 제약도 다룰 수 있도록 Savage-Dickey 밀도 비율을 일반화할 수 있는가?
• RQ2 제약 조건이 있는 모형과 없는 모형에 대해 민감한 사전분포 설정이 가능하면서도 계산 효율성이 유지되는가?
• RQ3 분석적 해와 비교했을 때, 일반화된 방법이 다변량 및 다항모형에서 베이즈 요인을 얼마나 정확하게 계산할 수 있는가?
• RQ4 순서 제약 조건이 부여되었을 때, 사전분포의 종속성이 사후 추론에 어떤 영향을 미치는가?
• RQ5 MCMC 샘플링을 통해 실제 데이터에 복잡한 파라미터 제약 조건이 있는 경우에도 이 방법을 신뢰성 있게 적용할 수 있는가?

주요 결과

• 일반화된 방법은 마진널 리크리언스 추정이 필요 없이 오직 MCMC 샘플만으로도 등가 제약과 순서 제약이 있는 가설에 대한 베이즈 요인을 성공적으로 계산한다.
• 제약 조건이 있는 다변량 t-검정에서의 베이즈 요인은 Bcu ≈ 0.025로 추정되어 제약 조건이 있는 가설에 대해 강력한 반증이 있음을 시사한다.
• 다항모형에서는 베이즈 요인은 Bcu ≈ 0.0001로 추정되어 제약 조건이 있는 가설에 대해 매우 강력한 반증이 있음을 나타낸다.
• 제약 조건이 있는 근본가설 값에서의 사후밀도와 사전밀도 평가에 의존함으로써 계산 효율성이 유지되며, 이는 MCMC 샘플로부터 쉽게 확보할 수 있다.
• 사전밀도 비율의 기댓값은 몬테카를로 샘플링을 통해 추정되었으며, 큰 표본 시뮬레이션(n = 1e7)을 통해 수렴성이 확인되었다.
• 분석적 해와의 비교를 통해 결과의 일치성과 다양한 파rameter 설정에서의 안정성을 입증하였으며, 방법의 타당성이 검증되었다.