[논문 리뷰] Fast Inference for Intractable Likelihood Problems using Variational Bayes

David Gunawan, Minh‐Ngoc Tran외 1명|arXiv (Cornell University)|2017. 05. 18.

Statistical Methods and Bayesian Inference참고 문헌 22인용 수 8

한 줄 요약

이 논문은 가능성이 존재하지만 비편향된 로그우도 기울기 추정기들이 이용 가능한 대규모 데이터 및 대규모 패널 데이터 모델에서 베이지안 추론을 위한 계산적으로 효율적인 방법인 불가항력적 로그우도를 가진 변분 베이즈(VBILL)를 소개한다. 데이터 서브샘플링과 MapReduce 프레임워크를 활용하여 VBILL은 제어 가능한 몬테카를로 오차 수준에서 정확한 추론을 달성하며, 기존의 변분 베이즈 및 가짜-가장대우도 메트로폴리스-하스팅스(PMMH) 방법들보다 수렴성과 안정성을 크게 향상시킨다.

ABSTRACT

Variational Bayes (VB) is a popular estimation method for Bayesian inference. However, most existing VB algorithms are restricted to cases where the likelihood is tractable, which precludes their use in many important situations. Tran et al. (2017) extend the scope of application of VB to cases where the likelihood is intractable but can be estimated unbiasedly, and name the method Variational Bayes with Intractable Likelihood (VBIL). This paper presents a version of VBIL, named Variational Bayes with Intractable Log-Likelihood (VBILL), that is useful for cases as Big Data and Big Panel Data models, where unbiased estimators of the gradient of the log-likelihood are available. We demonstrate that such estimators can be easily obtained in many Big Data applications. The proposed method is exact in the sense that, apart from an extra Monte Carlo error which can be controlled, it is able to produce estimators as if the true likelihood, or full-data likelihood, is used. In particular, we develop a computationally efficient approach, based on data subsampling and the MapReduce programming technique, for analyzing massive datasets which cannot fit into the memory of a single desktop PC. We illustrate the method using several simulated datasets and a big real dataset based on the arrival time status of U. S. airlines.

연구 동기 및 목표

• 기존의 변분 베이즈(VB) 방법들이 가능성이 있는 우도를 요구한다는 한계를 해결하기 위해 현대적인 대규모 데이터 및 대규모 패널 데이터 응용 분야에 적합한 방법을 개발하는 것.
• 우도가 불가항력적이지만 로그우도 기울기의 비편향 추정기가 효율적으로 계산 가능한 경우에 VB를 확장하는 것.
• 제어 가능한 몬테카를로 오차 수준에서 사후 추론의 정확성을 유지하면서도 대규모 데이터 세트에 대한 계산적 확장성을 확보하는 방법을 개발하는 것.
• 대규모 데이터에서 가짜-가장대우도 메트로폴리스-하스팅스(PMMH)의 나쁜 혼합성과 높은 계산 비용 문제를 해결하기 위해 VB의 효율성과 PMMH의 정확성을 결합하는 것.

제안 방법

• VBILL은 데이터 서브샘플링을 통해 유도된 로그우도 기울기의 비편향 추정기를 사용하여 변분 추론 최적화 과정을 이끈다.
• 이 방법은 표준 VB와 동일한 쿨백-라이블러(Kullback-Leibler) 발산을 최소화하므로, 몬테카를로 오차가 0이 되는 한계에서 근사가 정확해진다.
• 피셔의 항등식을 활용하여 혼합효과 패널 모델과 같이 적분이 불가항력적인 모델에서도 비편향 기울기 추정기를 도출한다.
• 데이터가 단일 머신에 올 수 없을 정도로 큰 경우를 대비해 분산 처리 및 메모리 효율적인 처리를 가능하게 하기 위해 MapReduce 프로그래밍 패러다임을 활용한다.
• VBILL은 변분 하한의 확률적 최적화 과정에 기울기 정보를 통합하여 수렴 속도와 안정성을 향상시킨다.
• 시뮬레이션과 실제 항공기 도착 시간 데이터 세트를 통한 검증을 통해 확장성과 정확성을 입증하였다.

실험 결과

연구 질문

• RQ1 불가항력적 우도를 가진 모델에 대해 변분 베이즈를 확장할 수 있는가? 이 경우 사후 근사의 정확성은 유지되는가?
• RQ2 대규모 데이터 및 대규모 패널 데이터 모델에서 로그우도 기울기의 비편향 추정기를 효율적으로 구성할 수 있는가?
• RQ3 기울기 정보를 변분 추론에 통합하면 표준 VBIL에 비해 수렴 속도와 안정성이 향상되는가?
• RQ4 제안된 방법은 단일 머신의 메모리 용량을 초월하는 대규모 데이터 세트에 대해 확장 가능한가?
• RQ5 고차원적이고 불가항력적 우도를 가진 설정에서 VBILL은 PMMH 및 표준 VB에 비해 정확성과 계산 효율성 면에서 어떻게 비교되는가?

주요 결과

• VBILL은 제어 가능한 몬테카를로 오차 수준에서 정확한 추론을 달성하며, 이는 전체 데이터 우도가 이용 가능한 것과 동일한 정확도의 사후 근사를 의미한다.
• 기울기 정보를 변분 최적화 과정에 통합함으로써 수렴 속도와 안정성이 크게 향상된다.
• 데이터 서브샘플링을 통해 독립적인 대규모 데이터 및 랜덤 효과가 있는 패널 모델 모두에서 로그우도 기울기의 비편향 추정이 가능하다.
• MapReduce 기반 구현을 통해 주로 메모리에 올리기 어려운 데이터 세트의 스케일러블 분석이 가능해져 실제 대규모 데이터 환경에서의 실용적 추론이 가능해졌다.
• 시뮬레이션 및 실제 항공기 도착 시간 데이터에 대한 실증 결과는 VBILL이 기존 방법들보다 계산 효율성이 뛰어나면서도 높은 정확도를 유지함을 보여준다.
• VBILL은 대규모 데이터 환경에서 PMMH의 높은 계산 비용과 나쁜 혼합성을 피하기 위해 VB의 효율성과 가짜-가장대우도 방법의 정확성을 결합함으로써 이를 해결한다.