[논문 리뷰] A Bayes factor with reasonable model selection consistency for ANOVA model

Yuzo Maruyama|arXiv (Cornell University)|2009. 06. 23.

Statistical Methods in Clinical Trials참고 문헌 12인용 수 15

한 줄 요약

이 논문은 일원분산분석에서 모델 선택 일致성을 보장하는 새로운 g-우도기반 베이즈 요인을 제안한다. 이는 군집 수 $p$와/또는 평균 복제 수 $\bar{r}$가 무한대가 되는 두 가지 渐近적 상황 모두에서 성립한다. BIC와 달리, $\bar{r}$가 느리게 증가하는 경우에도 이 베이즈 요인이 일관성을 유지한다. 이는 특별한 우선분포 선택에 기반한 정확한 해석적 주변 밀도 계산에 의존한다.

ABSTRACT

For the ANOVA model, we propose a new g-prior based Bayes factor without integral representation, with reasonable model selection consistency for any asymptotic situations (either number of levels of the factor and/or number of replication in each level goes to infinity). Exact analytic calculation of the marginal density under a special choice of the priors enables such a Bayes factor.

연구 동기 및 목표

• 군집 수 $p$가 증가하고 평균 복제 수 $\bar{r}$가 느리게 증가하는 고차원 ANOVA 환경에서 BIC의 일관성 결여 문제를 해결하기 위해.
• $p \to \infty$ 및 $\bar{r} \to \infty$의 두 상황 모두에서 모델 선택 일관성을 확보하는 베이즈 요인을 개발하기 위해. 특히 $\bar{r}$가 $p$보다 느리게 증가하는 경우도 포함한다.
• 특정 g-우선분포 하에서 주변 우도에 대한 정확한 해석적 표현을 유도하여 수치적 통합을 피하기 위해.
• 진짜 효과 크기가 작고 $p$가 클 때에도 제안된 베이즈 요인이 일관성을 유지함을 보여주기 위해.

제안 방법

• 일원분산분석 모델을 중심화된 설계행렬 $\tilde{\bm{X}}_A$를 가진 선형 회귀 모델로 재표현한다.
• 특정한 $g$ 값 선택을 통해 회귀 계수에 g-우선분포를 적용하여 주변 우도의 정확한 해석적 계산이 가능하도록 한다.
• $\mathcal{M}_1$과 $\mathcal{M}_{A+1}$ 하에서 주변 밀도 비율로 베이즈 요인을 유도하며, 닫힌 형태의 식인 $\mathrm{BF}^{F}_{(A+1):1} = \frac{\Gamma(p/2)\Gamma((n-p)/2)}{\Gamma(1/2)\Gamma((n-1)/2)} \left(1 + \frac{W_H}{W_E}\right)^{(n-p-1)/2}$를 도출한다.
• 스티르링의 근사법과 점점의 분석을 사용하여 다양한 대표수 샘플 상황에서 베이즈 요인의 행동을 평가한다.
• 두원분산분석으로 방법을 확장하여 유사한 제곱합을 정의하고 $p$, $q$, $\bar{r}$의 동시 점점의 상황에서 일관성을 분석한다.
• 점점의 극한에서 신호 강도를 측정하기 위해 효과 크기 측정치 $\tilde{c}_A$, $\tilde{c}_B$, $\tilde{c}_{AB\setminus(A+B)}$를 정의한다.

실험 결과

연구 질문

• RQ1 군집 수 $p \to \infty$ 이며 평균 복제 수 $\bar{r}$가 느리게 증가할 때 제안된 베이즈 요인이 모델 선택 일관성을 유지하는가?
• RQ2 군집 수 $p$가 증가할 때, 특히 $\bar{r}$가 유한한 경우, 진짜 효과 크기가 $c_A$가 작을 때, null 모델 $\mathcal{M}_1$ 하에서 베이즈 요인이 어떻게 행동하는가?
• RQ3 진짜 효과 크기가 작지만 양수일 때, 베이즈 요인이 대안 모델 $\mathcal{M}_{A+1}$를 일관되게 선택할 수 있는가?
• RQ4 이 베이즈 요인은 고차원 ANOVA 환경에서 BIC 및 GBIC에 비해 어떻게 성능을 발휘하는가?
• RQ5 두원분산분석에서 $\bar{r}$와 $p$에 대해 어떤 조건에서 베이즈 요인이 일관성을 유지하는가?

주요 결과

• 제안된 베이즈 요인 $\mathrm{BF}^{F}_{(A+1):1}$ 는 $p$와 $\bar{r}$가 모두 무한대가 되는 조건에서 $\mathcal{M}_{A+1}$ 하에서 일관성을 유지한다. 이는 $\bar{r}$가 $p$의 어떤 거듭제곱보다도 느리게 증가하는 경우에도 성립한다.
• CASE I($p \to \infty$, $\bar{r}$ 유한) 하에서, 진짜 효과 크기 $c_A$가 작을 경우, 즉 $c_A < h(\bar{r}) = \bar{r}^{1/(\bar{r}-1)} - 1$ 이면 베이즈 요인이 일관성이 없다. 이 값 $h(\bar{r})$ 는 $\bar{r} \to \infty$ 일 때 0으로 수렴한다.
• 베이즈 요인이 $\mathcal{M}_{A+1}$ 하에서 일관성이 있기는 조건은 $\tilde{c}_A > h(\bar{r})$ 이며, 여기서 $\tilde{c}_A$ 는 상대적 신호 강도를 측정한다.
• 반면 BIC 는 $p$가 $e(1+\tilde{c}_A)^{\bar{r}} / \bar{r}$ 보다 더 빠르게 증가할 경우, $\bar{r} \to \infty$ 이더라도 $\mathcal{M}_{A+1}$ 하에서 일관성이 없다. 이는 고차원 환경에서의 근본적인 한계를 보여준다.
• 두원분산분석의 경우, 베이즈 요인 $\mathrm{BF}^{F}_{(A+1)(B+1):1}$ 는 $\frac{(1+\tilde{c}_{AB\setminus(A+B)})^{\bar{r}}}{\bar{r}} > 1 + \tilde{c}_A + \tilde{c}_B + \tilde{c}_{AB\setminus(A+B)}$ 를 만족할 경우 일관성이 있다.
• 특정 g-우선분포 하에서 주변 우도의 정확한 해석적 형태는 라플라스 근사나 수치적 통합에 의존하지 않고도 일관된 모델 선택을 가능하게 한다.