[논문 리뷰] Inferences in Bayesian variable selection problems with large model spaces

Gonzalo García‐Donato, Miguel A. Martínez‐Beneito|arXiv (Cornell University)|2011. 01. 23.

Bayesian Methods and Mixture Models참고 문헌 19인용 수 5

한 줄 요약

이 논문은 고차원 변수 선택 문제에서 마르코프 체인 몬테카를로(MCMC) 표본 추출을 통한 경험 베이지안 추론이 재정규화 방법보다 우수하다고 주장한다. 빈도 기반 추정기는 포함 확률에 대해 비편향이 되며 더 정확하다는 것을 입증한다. 35개 변수로 구성된 데이터셋에서 정확한 계산을 통해 저자들은 재정규화 방법에 비해 경험적 방법이 더 우수한 추정치를 제공함을 보였다. 이는 강한 편향을 보일 수 있다.

ABSTRACT

An important aspect of Bayesian model selection is how to deal with huge model spaces, since exhaustive enumeration of all the models entertained is unfeasible and inferences have to be based on the very small proportion of models visited. This is the case for the variable selection problem, with a moderate to large number of possible explanatory variables being considered in this paper. We review some of the strategies proposed in the literature and argue that inferences based on empirical frequencies via Markov Chain Monte Carlo sampling of the posterior distribution outperforms recently proposed searching methods. We give a plausible yet very simple explanation of this effect, showing that estimators based on frequencies are unbiased. The results obtained in two illustrative examples provide strong evidence in favor of our arguments.

연구 동기 및 목표

• 완전한 열거가 불가능한 큰 모형 공간에서의 베이지안 변수 선택 문제를 다루기 위해.
• 고차원 모형 공간에서 MCMC 표본 빈도 기반 경험 추정기와 정규화된 베이즈 요인 기반 재정규화 추정기 간의 비교를 위해.
• 경험 추정기가 비편향이 되고 측정 가능한 정밀도를 가지며, 재정규화 방법과는 다르게 이를 입증하기 위해.
• MCMC 기반 빈도 추정이 포함 확률 및 관심 있는 기타 특성 추정에 있어 재정규화 전략보다 더 신뢰할 수 있음을 경험적이고 이론적으로 입증하기 위해.

제안 방법

• 가우시안 선형 모형에서 계산을 단순화하기 위해 제일너의 g-우도를 사용하여 닫힌 형태의 베이즈 요인을 가능하게 한다.
• 모형 공간에 대한 사후 분포에서 모형의 대표 표본($\mathcal{M}^*$)을 생성하기 위해 MCMC 표본 추출을 사용한다.
• 경험 추정기를 확률 비례 표본 추출(PPS) 추정기로 간주하여, 표준 MCMC 가정 하에 비편향성을 보장한다.
• 정확한 결과를 바탕으로 한 35개 변수로 구성된 데이터셋을 사용하여, $\mathcal{M}^*$ 내에서의 방문 빈도 기반 경험 추정기와 정규화된 베이즈 요인 기반 재정규화 추정기 간의 비교를 수행한다.
• 검증을 위해 정확한 포함 확률과 HPM(최고 사후 확률 모형)을 계산하기 위해 병렬화된 C 코드를 사용하여 근사 방법의 벤치마킹을 가능하게 한다.
• 경험 빈도 기반으로 포함 확률에 대한 분산 추정기를 유도하고 적용하여 추정 불확실성을 정량화한다.

실험 결과

연구 질문

• RQ1 MCMC 방문 빈도 기반 경험 추정기는 고차원 베이지안 변수 선택에서 비편향인가?
• RQ2 진짜 값이 알려진 상황에서 경험 추정기와 재정규화 추정기 간의 포함 확률 추정 방식은 어떻게 비교되는가?
• RQ3 높은 사후 확률 모형에 초점을 맞추는 재정규화 접근법은 실제로 편향된 추정을 초래하는가?
• RQ4 경험 방법이 높은 확률 모형을 명시적으로 목표로 하지 않음에도 불구하고 재정규화 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ5 표본 추출 설계와 추정 전략은 큰 모형 공간에서의 베이지안 모형 선택 신뢰도에 어떤 역할을 하는가?

주요 결과

• MCMC 방문 빈도 기반 경험 추정기는 PPS 표본 추출의 한 형태이므로 비편향이지만, 재정규화 추정기는 강한 편향을 보일 수 있다.
• 35개의 공변량을 가진 Ozone35 데이터셋에서 경험 방법은 정확한 포함 확률과 매우 가까운 추정치를 제공했지만, 재정규화 방법은 심각한 편향을 보였다.
• HPM(최고 사후 확률 모형)의 경우, 경험 방법과 재정규화 방법이 유사하게 성능을 보였는데, 이는 둘 다 높은 확률 모형을 목표로 하기 때문이다.
• 경험 방법은 포함 확률에 대한 신뢰할 수 있는 분산 추정치를 제공하여 불확실성 정량화를 가능하게 했으며, 이는 재정규화 접근법에서는 직접적인 방법이 아니다.
• 65개의 공변량을 가진 더 큰 Ozone65 문제에서는 경험 방법이 여전히 정확하고 안정적이었지만, 재정규화 방법은 불안정성과 편향을 보였다.
• 저자들은 재정규화 전략이 직관적으로 매력적이지만, 포함 확률과 같은 특성 추정에 있어 경험 방법이 일반적으로 더 우수하다고 결론을 내린다.