[논문 리뷰] Instrumental Variable Bayesian Model Averaging via Conditional Bayes Factors

Anna Karl, Alex Lenkoski|arXiv (Cornell University)|2012. 02. 27.

Complex Systems and Time Series Analysis참고 문헌 19인용 수 25

한 줄 요약

이 논문은 조건부 베이즈 요인(CBFs)을 고려한 게밥 샘플링 프레임워크 내에서 모형 불확실성을 이원선형 IV 회귀에 통합하는 계산적으로 효율적인 방법인 도구변수 베이지안 모형 평균화(IVBMA)를 제안한다. 모형 이동을 게밥 샘플러 내부에 통합함으로써 IVBMA는 복잡한 역전이 없는 마르코프 체인 몬테카를로(MCMC) 기법을 피하면서도 간편하고 혼합 안정적인 모형 평균화를 가능하게 하며, 근사 방법에 대한 완전한 베이지안 대안을 제공한다.

ABSTRACT

We develop a method to perform model averaging in two-stage linear regression systems subject to endogeneity. Our method extends an existing Gibbs sampler for instrumental variables to incorporate a component of model uncertainty. Direct evaluation of model probabilities is intractable in this setting. We show that by nesting model moves inside the Gibbs sampler, model comparison can be performed via conditional Bayes factors, leading to straightforward calculations. This new Gibbs sampler is only slightly more involved than the original algorithm and exhibits no evidence of mixing difficulties. We conclude with a study of two different modeling challenges: incorporating uncertainty into the determinants of macroeconomic growth, and estimating a demand function by instrumenting wholesale on retail prices.

연구 동기 및 목표

• 내생성 문제 존재 시 도구변수 회귀에서의 모형 불확실성을 다루기 위해.
• IV 시스템에서 직접적인 모형 비교가 불가능한 문제를 조건부 베이즈 요인을 활용해 해결하기 위해.
• 역전이 없는 마르코프 체인 몬테카를로(MCMC)에 대한 계산적으로 효율적이고 양호한 혼합 성질을 보이는 도구변수 모형 평균화의 대안을 개발하기 위해.
• 기본적인 IV 추정에 모형 불확실성을 통합하는 실용적이고 완전한 베이지안 프레임워크를 제공하기 위해.
• 기존의 베이지안 모형 평균화 기법을 내생성 변수 설정에 확장하면서 알고리즘 오버헤드를 최소화하기 위해.

제안 방법

• 이 방법은 원래 도구변수 추정을 위해 설계된 게밥 샘플러 프레임워크를 사용하며, 조건부 베이즈 요인(CBFs)을 통한 모형 이동을 추가로 통합한다.
• 다중정규분포의 정규화 상수를 활용하여 첫 번째 단계 및 두 번째 단계의 모형에 대해 CBFs를 계산함으로써, 포함 구조가 있는 계층적 구조에서 정확한 모형 비교가 가능해진다.
• 모형 이동이 게밥 샘플러 내부에 통합되어, 혼합 성질이 양호한 MC3-within-Gibbs 알고리즘을 형성한다.
• CBFs로부터 유도된 조건부 모형 확률에 의존함으로써, 복잡한 모형 제안 메커니즘과 혼합 문제를 피하는 방식으로, 기존의 역전이 없는 마르코프 체인 몬테카를로(MCMC)에서 흔히 발생하는 문제를 해결한다.
• 이 방법은 R 패키지 'ivbma'를 통해 구현되었으며, CRAN에서 이용 가능하며, 단일 및 다중 내생성 변수를 모두 지원한다.
• 도구변수 커널을 딜레트 프로세스 혼합 모델 내의 IVBMA 커널로 교체함으로써, 비정규 오차 구조로의 확장을 가능하게 할 수 있다.

실험 결과

연구 질문

• RQ1 혼합 성질에 영향을 주지 않으면서 이원선형 도구변수 회귀에 모형 불확실성을 효율적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 조건부 베이즈 요인이 내생성 회귀 시스템에서 모형 비교에 대해 실현 가능하고 이론적으로 타당한 방법을 제공할 수 있는가?
• RQ3 제안된 IVBMA 방법은 계산 효율성과 혼합 행동 측면에서 기존의 역전이 없는 마르코프 체인 몬테카를로(MCMC)와 비교해 어떻게 다를까?
• RQ4 모형 평균화가 거시경제 성장 결정요인과 수요 함수 추정에서 추론에 어떤 영향을 미치는가?
• RQ5 IVBMA 프레임워크는 비정규 오차와 일반선형 모형과 같은 더 복잡한 가능성 구조를 다룰 수 있도록 확장될 수 있는가?

주요 결과

• 모형 이동 메커니즘이 단순하여 혼합 문제의 증거가 없으며, 이는 역전이 없는 마르코프 체인 몬테카를로(MCMC)와는 대조된다.
• 도구변수 모형에 대한 조건부 베이즈 요인은 다변량 정규분포의 정규화 상수로 줄어들며, 이는 포함된 계층적 기반에서 정확한 모형 비교를 가능하게 한다.
• 원래의 게밥 샘플러보다 다소 복잡한 편이지만, 세 단계에서 다섯 단계로의 절차로의 확장으로 인해 계산 오버헤드는 최소한도로 유지된다.
• 거시경제 성장 사례에서 IVBMA는 인플레이션과 정치적 안정성과 같은 핵심 결정요인을 높은 포함 확률로 식별하였으며, 관련성이 낮은 변수들은 걸러냈다.
• 마가린 수요 데이터셋에서는 가격의 민감도에 대해 후행 분포의 97.5% 분위수를 1.841로 추정하여 가격 변화에 매우 민감한 것으로 나타났다.
• R 패키지 'ivbma'는 방법을 성공적으로 구현하였으며, 다중 내생성 변수 및 비정규 오차 구조에 대한 확장도 딜레트 프로세스 혼합 모델을 통해 지원한다.