[논문 리뷰] Methods and Tools for Bayesian Variable Selection and Model Averaging in Univariate Linear Regression

Anabel Forte, Gonzalo García‐Donato외 1명|arXiv (Cornell University)|2016. 12. 07.

Statistical Methods and Bayesian Inference참고 문헌 33인용 수 5

한 줄 요약

이 논문은 단변량 선형 회귀에서 베이지안 변수 선택 및 모형 평균화를 위한 네 가지 R 패키지—BMS, BayesVarSel, mombf, BayesFactor—를 평가하고 비교한다. 모든 패키지가 유사한 결과를 도출하지만, 계산 효율성, 사전 분포의 유연성, 병렬 처리 및 수렴 진단과 같은 기능의 차이로 인해, 작은 또는 중간 크기의 표본 크기에는 BayesVarSel가 최적이고, 큰 데이터셋에는 BMS가 더 바람직하다는 것을 보여준다.

ABSTRACT

In this paper we briefly review the main methodological aspects concerned with the application of the Bayesian approach to model choice and model averaging in the context of variable selection in regression models. This includes prior elicitation, summaries of the posterior distribution and computational strategies. We then examine and compare various publicly available { t R}-packages for its practical implementation summarizing and explaining the differences between packages and giving recommendations for applied users. We find that all packages reviewed lead to very similar results, but there are potentially important differences in flexibility and efficiency of the packages.

연구 동기 및 목표

• 베이지안 변수 선택 및 모형 평균화를 위한 네 가지 공개된 R 패키지의 성능, 융통성, 사용성에 대해 평가하고 비교하는 것.
• 특히 제프리스, 제르너, 시오우 등의 전통적 사전 분포가 모형 선택 및 추론에 미치는 영향을 평가하는 것.
• 고산, 중간, 대규모 표본 크기의 응용 연구자들을 위한 실용적 권고를 제공하는 것—계산 효율성, 수렴 속도, 고정 공변수, 계층 모형, 병렬 계산 등의 기능 기반으로.
• 수치적 구현 전략(예: MCMC, 가역 이동, 중요도 샘플링)과 CPU 시간 및 사후 모형 확률, 포함 확률의 정확성에 미치는 영향을 분석하는 것.
• 문서화 품질과 사용자 인터페이스 설계를 패키지 간 비교하여 응용 연구자가 도구를 선택하는 데 도움이 되는 가이드라인을 제공하는 것.

제안 방법

• 연구는 모형을 포함 변수의 이진 벡터로 인덱싱하는 마진형 우도와 사후 모형 확률을 사용한 베이지안 변수 선택을 검토하고 구현한다.
• 특히 제르너-시오우 및 제프리스 유형 사전과 같은 전통적 사전을 사용하며, 이는 객관적 비정보성 사전 특성과 최적의 출현 위험 행동을 갖는 것으로 알려져 있다.
• 네 가지 R 패키지—BMS(Bayesian Model Sampling), BayesVarSel(Bayesian Variable Selection), mombf(모형 선택을 위한 마진형 우도), BayesFactor(베이지안 가설 검정)—를 비교하며, 각각 다른 계산 전략을 사용한다.
• 계산 성능는 수렴 속도와 베이지안 포함 확률(PIPs)의 정확도를 기준으로 벤치마크 데이터셋(예: 보스턴 주택 가격, GDP 성장률)에서 평가되며, 버닝 인벌리드 이후 결과를 분석한다.
• 패키지 간 PIP 수치 비교와 함께 고정 공변수, 주효과가 상호작용보다 먼저 포함되는 계층 모형 원칙(heredity principle) 준수 여부, 수렴 진단 기능 등도 평가된다.
• 모의 및 실데이터를 모두 사용하여 패키지 간 결과의 강건성과 일관성을 테스트하며, 재현 가능성과 실용적 사용성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 BMS, BayesVarSel, mombf, BayesFactor 네 가지 R 패키지가 선형 회귀에서 베이지안 변수 선택에 대해 계산 효율성과 수렴 속도 측면에서 어떻게 비교될 수 있는가?
• RQ2 특히 전통적 사전 분포의 차이가, 특히 제프리스, 제르너, 시오우 유형 사전의 경우, 패키지 간 사후 모형 확률과 포함 확률에 얼마나 큰 영향을 미치는가?
• RQ3 작은, 중간, 또는 대규모 표본 크기의 사용자에게 가장 적합한 융통성, 사용성, 성능의 균형을 제공하는 패키지는 무엇인가?
• RQ4 고정 공변수, 계층 모형(heredity 원칙), 병렬 계산 등의 기능이 실제 패키지 선택에 어떻게 영향을 미치는가?
• RQ5 모든 패키지에서 사후 포함 확률(PIPs)은 얼마나 신뢰할 수 있으며, 합리적인 계산 시간 내에 유사한 값으로 수렴하는가?

주요 결과

• 모든 네 패키지가 30분의 계산 후 유사한 사후 포함 확률(PIPs)을 도출하며, 최대 두 번째 소수 자리까지의 차이만 존재한다.
• 표본 크기가 작은 경우, 계산 효율성과 수렴 속도가 빠르므로 $ n $ 이 작은 경우 BayesVarSel가 추천된다.
• 표본 크기가 큰 경우, 확장성과 고차원 모형 공간의 효율적 처리로 인해 $ n $ 이 큰 경우 BMS가 선호된다.
• 표본 크기나 예측 변수 수 $ p $ 가 증가할수록 성능가 느리고 확장성도 제한되어 있어 일반적인 용도로는 BayesFactor를 권장하지 않는다.
• mombf는 전통적인 제르너-시오우 가족과 약간 다른 사전을 사용하지만, BMS나 BayesVarSel보다 약간 높은 변동성을 보이며 빠르게 유사한 PIP 추정치를 도출한다.
• BMS는 MCMC 수렴 진단 및 모니터링을 위한 우수한 도구를 제공하며, BayesVarSel과 BMS는 병렬 계산을 지원하여 다중 코어 시스템에서 성능 향상을 이룬다.