[논문 리뷰] Accurate Computation of Marginal Data Densities Using Variational Bayes

Gholamreza Hajargasht, Tomasz Woźniak|arXiv (Cornell University)|2018. 05. 25.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 변분 베이즈(VB) 사후 근사값을 역중요표본추출(RIS)에서 중요도 표본 가중치로 활용하여 정확하고 안정적이며 계산적으로 효율적인 주변 데이터 밀도 추정기(MDDE)를 제안한다. 기존 MDDE들과 비교해 낮은 수치적 표준편차와 편향을 달성하며, 유한한 분산과 점근 정규성을 보이며, 가중치 밀도의 잘라내기(truncation)를 피한다.

ABSTRACT

We propose a new marginal data density estimator (MDDE) that uses the variational Bayes posterior density as a weighting density of the reciprocal importance sampling (RIS) MDDE. This computationally convenient estimator is based on variational Bayes posterior densities that are available for many models and requires simulated draws only from the posterior distribution. It provides accurate estimates with a moderate number of posterior draws, has a finite variance, and provides a minimum variance candidate for the class of RIS MDDEs. Its reciprocal is consistent, asymptotically normally distributed, and unbiased. These properties are obtained without truncating the weighting density, which is typical for other such estimators. Our proposed estimators outperform many existing MDDEs in terms of bias and numerical standard errors. In particular, our RIS MDDE performs uniformly better than other estimators from this class.

연구 동기 및 목표

• 베이지안 모형 비교를 위한 계산적으로 효율적이고 정확한 주변 데이터 밀도 추정기(MDDE)를 개발하기 위해.
• 기존 MDDE들의 한계, 즉 높은 편향, 무한한 분산, 잘라낸 가중치 밀도에 대한 의존성 등을 극복하기 위해.
• RIS 기반 MDDE에 있어 VB 사후분포를 자연스럽고 해석적으로 다룰 수 있는 중요도 표본 가중밀도로 활용하기 위해.
• VB 기반 MDDE가 RIS 추정기 중 최소 분산을 달성하며 일致성과 점근 정규성을 유지함을 입증하기 위해.
• 완전한 MCMC 샘플링이 복잡하거나 불가능한 모형에 대해서도, 오직 사후 샘플과 VB 근사값에 의존함으로써 MDDE의 적용 가능성을 확장하기 위해.

제안 방법

• 제안된 RIS MDDE는 VB 사후밀도를 중요도 표본 가중함수로 사용하여 지지역역의 잘라내기를 방지한다.
• 이 추정기는 사후 샘플에 대해 VB 밀도와 결합 밀도-사전 분포 곱의 역비율 평균의 역수로 정의된다.
• 이 방법은 사후 샘플과 VB 근사값에 의존하며, 대부분의 모형에서 전체 MCMC 샘플링이 필요로 하지 않는다.
• 이론적 성질로는 역추정기의 일치성, 점근 정규성, 비편향성 등이 있으며, 이는 잘라내기 없이도 성립한다.
• 동일한 VB 사후분포를 제안 밀도로 사용하여 브릿지 샘플링(BS) MDDE로도 확장된다.
• 이 방법은 평균장 가정이 필요로 하지 않기 때문에 평균장 VB를 초월한 응용에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 변분 베이즈 사후 근사값이 주변 데이터 밀도를 추정하기 위해 중요한도 표본 가중치로 효과적으로 사용될 수 있는가?
• RQ2 VB 사후분포를 가중치 밀도로 사용할 경우, 기존 방법보다 낮은 편향과 수치적 표준편차를 가진 MDDE를 얻을 수 있는가?
• RQ3 결과적으로 도출된 RIS MDDE는 가중치 밀도를 잘라내지 않더라도 유한한 분산과 점근 정규성을 달성할 수 있는가?
• RQ4 복잡한 모형에서 VB 기반 MDDE의 성능은 Chib(1995)와 Geweke(1999)의 기준 방법과 비교해 어떻게 되는가?
• RQ5 VB 근사값이 반대 KL 발산을 최소화하는 최적성 특성은 MDDE 효율성 향상으로 이어지는가?

주요 결과

• VB 사후밀도를 기반으로 한 제안된 RIS MDDE는 테스트된 모든 추정기 중에서 가장 낮은 수치적 표준편차(NSE)를 기록했으며, NSE 값은 Geweke(1999)의 RIS MDDE보다 거의 15배 낮았다.
• 스토케스틱 프론티어 모형과 종단적 포isson 모형을 포함한 다양한 모형에서 VB 기반 RIS 및 BS MDDE는 Chib(1995)의 벤치마크 MDDE와 다른 모든 경쟁자들보다 편향과 NSE 측면에서 뛰어난 성능을 보였다.
• RIS MDDE의 역수는 잘라내기 없이도 일치성, 점근 정규성, 비편향성을 보이며, 이는 이전 방법과의 핵심적 우월성이다.
• 비표준 사후 계산(예: 지그재그 내 메트로폴리스-하스팅스)을 포함한 모형들에서도 VB RIS MDDE는 수치적으로 안정적이고 정밀했으며, 다른 추정기들보다 NSE가 현저히 낮았다.
• 박스플롯을 통해 다른 추정기들에 비해 높은 변동성을 보이는 것과는 달리, VB 기반 추정기들은 진짜 값 주변에 조밀하게 군집된 추정치를 보이며 뛰어난 수치적 안정성을 입증했다.
• 완전한 데이터 밀도를 사용할 경우에도 이 방법은 높은 성능을 유지했으며, NSE는 약 두 배 정도 증가할 뿐이었고, 이는 이전 연구에서 보고된 심각한 효율성 손실과는 다름.