[논문 리뷰] On the use of bootstrap with variational inference: Theory, interpretation, and a two-sample test example

Yen‐Chi Chen, Y. Samuel Wang외 1명|arXiv (Cornell University)|2017. 11. 29.

Statistical Methods and Inference참고 문헌 45인용 수 5

한 줄 요약

이 논문은 잠재변수 모델에서 매개변수 추정치의 불확실성 측정을 위해 부트스트랩 재표본 추출을 사용하기 위한 이론적 기반을 수립한다. 고정 차원 및 증가하는 차원 설정에서 점점 커지는 정규성 및 부트스트랩 일致성을 확립하며, 특히 분산 추정량이 일致하지 않을 경우 점점 커지는 점근적 근사보다 향상된 신뢰구간 커버리지 성능을 보여준다.

ABSTRACT

Variational inference is a general approach for approximating complex density functions, such as those arising in latent variable models, popular in machine learning. It has been applied to approximate the maximum likelihood estimator and to carry out Bayesian inference, however, quantification of uncertainty with variational inference remains challenging from both theoretical and practical perspectives. This paper is concerned with developing uncertainty measures for variational inference by using bootstrap procedures. We first develop two general bootstrap approaches for assessing the uncertainty of a variational estimate and the study the underlying bootstrap theory in both fixed- and increasing-dimension settings. We then use the bootstrap approach and our theoretical results in the context of mixed membership modeling with multivariate binary data on functional disability from the National Long Term Care Survey. We carry out a two-sample approach to test for changes in the repeated measures of functional disability for the subset of individuals present in 1989 and 1994 waves.

연구 동기 및 목표

• 표준 점근적 분산 추정이 자주 불가능하거나 일치하지 않는 변분 추론에서의 불확실성 측정 문제를 다루기 위해.
• 일致한 분산 추정량이 확보되지 않을 경우에 부트스트랩 절차를 신뢰할 수 있는 대안으로 제안하고, 이를 통해 신뢰구간을 구성하기 위해.
• 고정 차원 및 증가하는 차원 설정에서 부트스트랩 기반 추론의 이론적 타당성을 확립하기 위해.
• 국민 장기 간병 조사(NLTCS)에서의 기능적 장애 데이터를 활용하여 실제 두 표본 검정 설정에서 방법을 설명하기 위해.
• 복잡한 잠재변수 모델에서 기계학습 및 통계 분야 전반에 적용 가능한 불확실성 측정을 위한 일반적 프레임워크를 제공하기 위해.

제안 방법

• 비모수 부트스트랩(관측 데이터 기반)과 변분 근사 기반의 모수 부트스트랩을 제안한다.
• 정규 조건 하에서 변분 추정량의 점근적 정규성을 도출하며, 고전적인 중심극한정리의 결과를 변분 설정으로 확장한다.
• 부트스트랩 통계량의 조건부 분포가 추정량의 진정한 표본분포로 수렴함을 보여, 부트스트랩 일치성을 확립한다.
• 고차원 설정에서 경험적 공분산 추정량과 진정한 공분산 추정량 간의 편차를 제어하기 위해 행렬 베르누이 불평등식을 적용한다.
• 다변량 이진 모델에서 반복 측정 시 혼합 구성성분 매개변수의 변화를 검정하기 위한 두 표본 검정에 부트스트랩을 적용한다.
• 국민 장기 간병 조사(NLTCS)의 기능적 장애 데이터를 사용하여 방법을 검증하였으며, 여기서 변분 추론은 반복 측정에 대한 잠재혼합구성성 모델을 모델링하는 데 사용된다.

실험 결과

연구 질문

• RQ1 일치하지 않는 분산 추정량이 존재할 경우 부트스트랩 절차가 변분 추론에 대해 유효한 불확실성 측정을 제공할 수 있는가?
• RQ2 고정 차원 및 증가하는 차원 설정에서 변분 추정량의 부트스트랩 분포가 그 진정한 표본분포로 수렴하는 이론적 조건은 무엇인가?
• RQ3 커버리지 정확도 측면에서 부트스트랩 기반 신뢰구간은 점근적 구간과 어떻게 비교되는가?
• RQ4 변분 추론에서의 부트스트랩 일치성 이론 유도 과정에서 ELBO(evidence lower bound)의 역할은 무엇인가?
• RQ5 복잡하고 고차원적인 모델, 예를 들어 다변량 이진 데이터를 갖는 혼합 구성성분 모델에 대해 부트스트랩 접근법을 성공적으로 적용할 수 있는가?

주요 결과

• 분산 추정량이 일치하지 않을 경우 점점 커지는 정규 근사보다 고차수 커버리지 정확도를 달성하는 부트스트랩 접근법이 성능이 뛰어나다.
• 이론적 분석 결과, 정규 조건 하에서 변분 추정량의 부트스트랩 분포가 진정한 표본분포로 수렴함을 보여준다.
• 증가하는 차원 설정에서는 차원이 표본 크기의 비율로 제어되는 속도로 증가할 경우 부트스트랩이 여전히 유효하며, 이에 대한 경계는 행렬 농도 불평등식을 통해 유도된다.
• 부트스트랩 기반 신뢰구간은 NLTCS 데이터 분석 결과에서 점근적 구간보다 유한 표본에서 더 나은 경험적 커버리지 성능을 보였다.
• 모형 오특정에 강건하며, 진정한 점근적 분산을 일관되게 추정하기 어려운 경우에도 잘 작동한다.
• 이론적 결과는 시뮬레이션과 실제 데이터 응용을 통해 검증되었으며, 이는 부트스트랩이 변분 추론에서 실용적으로 유용함을 보여준다.