[논문 리뷰] Establishing consistency and improving uncertainty estimates of variational inference through M-estimation

Ted Westling, Tyler H. McCormick|arXiv (Cornell University)|2015. 10. 28.

Bayesian Methods and Mixture Models참고 문헌 22인용 수 11

한 줄 요약

이 논문은 i.i.d. 혼합 모델에 대한 변분 추론(VI)에서 일致성과 불확실성 추정을 향상시키기 위해 VI를 M-추정 이론과 연결함으로써 이를 달성한다. 이는 샌드위치 점근적 공분산 행렬과 모형 오특사용의 경우에도 유효한 신뢰구역과 가설 검정을 위한 일致한 추정량을 도출한다. 특히 가우시안 변분 근사(GVA)에 대한 구체적인 결과를 포함한다.

ABSTRACT

Variational inference (VI) is gaining popularity as a scalable estimation procedure for latent variable models. VI often empirically achieves similar predictive performance to slower, exact alternatives, but less is known about the viability of VI in contexts where parameter estimation and model interpretation are the primary goals. In this paper we connect VI for independent, identically distributed (IID) mixture models to M-estimation. We leverage extensive results about M-estimators from statistical theory to provide general conditions for consistency and asymptotic normality of VI point estimators. We also derive a sandwich asymptotic covariance matrix and a consistent estimator thereof. Our estimated covariance can be used to construct valid confidence regions and tests and is robust to model misspecification. We provide more specific conditions for the Gaussian Variational Approximation (GVA), which has been implemented in broad generality in the open-source software Stan. We conduct a thorough simulation study demonstrating our derived covariance matrix under correct and misspecified models and apply our methods to estimate a mixed effects logistic regression using data from the National Longitudinal Study of Adolescent Health.

연구 동기 및 목표

• 매개변수 추정 및 모형 해석 맥락에서 변분 추론에 대한 이론적 보장을 부족하게 하는 문제를 해결하기 위해.
• i.i.d. 혼합 모델에서 VI 점추정량의 일치성과 점근정규성을 위한 일반 조건을 수립하기 위해.
• 모형 오특사용 하에서도 유효한 추론을 보장하기 위해 VI 추정량에 대한 강건한 샌드위치 점근적 공분산 행렬을 도출하기 위해.
• 유효한 신뢰구역과 가설 검정을 구성하기 위한 공분산 행렬의 일치한 추정량을 제공하기 위해.
• Stan에서 널리 사용되는 가우시안 변분 근사(GVA)에 결과를 특화하여 실용적 구현을 가능하게 하기 위해.

제안 방법

• i.i.d. 혼합 모델에 대한 변분 추론을 M-추정 이론과 연결하여 기존의 점근적 결과를 활용한다.
• M-추정량 이론을 사용하여 VI 추정량의 일치성과 점근정규성을 위한 일반 조건을 도출한다.
• 불확실성 정량화를 위해 VI 추정량에 대한 샌드위치 점근적 공분산 행렬을 구성한다.
• 모형 오특사용 하에서도 유효한 상태를 유지하는 샌드위치 공분산 행렬의 일치한 추정량을 제안한다.
• 프레임워크를 가우시안 변분 근사(GVA)에 적용하여 Stan에서의 구현을 가능하게 한다.
• 시뮬레이션 연구와 혼합 효과 로지스틱 회귀 분석에 대한 실제 응용을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 i.i.d. 혼합 모델에서 변분 추론 추정량이 일치하고 점근정규적인 조건은 무엇인가?
• RQ2 모형 오특사용 하에서도 유효한 추론을 보장하기 위해 VI 추정량에 대해 강건한 샌드위치 공분산 행렬을 도출할 수 있는가?
• RQ3 유한 표본에서 정확한 모형과 오특사용 모형 하에서 제안된 불확실성 추정량은 어떻게 성능을 발휘하는가?
• RQ4 가우시안 변분 근사(GVA)에서 일치성과 점근정규성에 대한 구체적인 정규성 조건은 무엇인가?
• RQ5 유도된 불확실성 추정량은 혼합 효과 로지스틱 회귀 분석과 같은 실제 데이터에 효과적으로 적용될 수 있는가?

주요 결과

• 논문은 i.i.d. 혼합 모델에서 변분 추론 추정량이 일치하고 점근정규적인 일반 조건을 수립한다.
• 모형 오특사용 하에서도 강건한 분산 추정을 제공하기 위해 VI 추정량에 대한 샌드위치 점근적 공분산 행렬을 도출한다.
• 샌드위치 공분산 행렬의 일치한 추정량을 제안하여 유효한 신뢰구역과 가설 검정을 가능하게 한다.
• 시뮬레이션 연구를 통해 정확한 모형과 오특사용 모형 하에서 불확실성 추정량의 강건성을 확인한다.
• 국립 청소년 건강 종단 연구 데이터를 사용하여 혼합 효과 로지스틱 회귀 분석을 성공적으로 추정하였다.
• 결과는 GVA 프레임워크가 이론적으로 타당하고 경험적으로 유효한 불확실성 추정을 지원하는 바를 보여준다.