[논문 리뷰] Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values

Bo Wang, D. M. Titterington|arXiv (Cornell University)|2012. 07. 11.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 7

한 줄 요약

이 논문은 누락된 데이터가 있는 지수족 모형에서 변분 베이지안(VB) 추론에 대한 이론적 보장을 수립한다. 표본 크기가 증가함에 따라 VB 알고리즘이 진짜 매개수로 국소적으로 거의 확실히 수렴함을 증명하고, VB 사후분포가 渐近적으로 정규분포를 띠게 되어 대규모 표본에서의 빈도주의 성질을 검증한다.

ABSTRACT

We study the properties of variational Bayes approximations for exponential family models with missing values. It is shown that the iterative algorithm for obtaining the variational Bayesian estimator converges locally to the true value with probability 1 as the sample size becomes inde nitely large. Moreover, the variational posterior distribution is proved to be asymptotically normal.

연구 동기 및 목표

• 부분적으로 손실된 데이터가 있는 지수족 모형에서 변분 베이지안 근사의 이론적 성질을 수립하기 위해.
• 증가하는 표본 크기 하에서 변분 베이지안 알고리즘의 수렴 행동을 조사하기 위해.
• 특히 정규성에 중점을 두고 변분 사후분포의 渐近적 분포 성질을 검토하기 위해.
• 특히 고차원 또는 복잡한 모형에서 VB를 사용하는 데 이론적 근거를 제공하기 위해.

제안 방법

• 저자들은 누락된 데이터가 있는 지수족 모형에서 변분 베이지안에 사용되는 반복 최적화 알고리즘을 분석한다.
• 대표본 渐近 이론을 적용하여 VB 추정량이 진짜 매개수 값으로 수렴하는 것을 연구한다.
• 분석은 지수족 모형에서 일반적인 규칙성 조건을 기반으로 하며, 누락된 데이터 메커니즘이 지수족의 구조와 호환된다고 가정한다.
• 지수족의 맥락에서 라플라스 근사와 중심극한형 추론을 사용하여 VB 사후분포의 渐近적 정규성을 도출한다.
• 증명 기법은 변분 하한이 진짜 로그우도로 수렴하고, 하한의 곡률이 정규 근사로 이어짐을 보이는 데 중점을 둔다.
• 메서드는 경험과정 이론과 확률적 수렴 결과를 활용하여 VB 추정량의 거의 확실한 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 변분 베이지안 추정량이 진짜 매개수 값으로 수렴하는가?
• RQ2 VB 알고리즘이 거의 확실히 수렴하는 조건은 무엇인가?
• RQ3 누락된 데이터가 있는 지수족 모형에서 변분 사후분포는 渐近적으로 정규분포를 띠는가?
• RQ4 누락된 데이터 설정에서 VB의 이론적 성질은 전체 베이지안 추론과 비교해 어떻게 다를까?

주요 결과

• 표본 크기가 무한대로 갈수록 변분 베이지안 추정량은 거의 확실히 진짜 매개수 값으로 국소적으로 수렴한다.
• 지수족 모형에서 일반적인 규칙성 조건 하에서 VB 알고리즘이 거의 확실한 수렴을 보인다.
• 변분 사후분포는 渐近적으로 정규분포를 띠며, 평균은 진짜 매개수로 수렴하고 분산은 역피셔 정보의 역행렬과 일치한다.
• VB 추정량의 수렴 속도는 지수족에서 최대우도 추정량과 일치하는 것으로 확인된다.
• VB 사후분포의 渐近적 정규성은 대규모 표본에서 신뢰구간을 사용한 불확실성 정량화에 유용함을 뒷받침한다.