[논문 리뷰] Robust, Accurate Stochastic Optimization for Variational Inference

Akash Kumar Dhaka, Alejandro Catalina외 4명|arXiv (Cornell University)|2020. 09. 01.

Statistical Methods and Inference참고 문헌 55인용 수 13

한 줄 요약

이 논문은 최적화 과정을 마르코프 체인으로 모델링하여 수렴 진단과 노이즈가 있는 목적 함수 평가에 강건한 새로운 停止 기준을 제공하는 안정적이고 정확한 확률적 최적화 프레임워크를 제안한다. 반복 평균화와 몬테카를로 표준오차(MCSE) 기반 정지 기준을 통해 고차원에서의 변분 근사 정확도를 향상시켜 근사 오차를 크게 감소시키고 중요도 샘플링의 신뢰성을 높인다.

ABSTRACT

We consider the problem of fitting variational posterior approximations using stochastic optimization methods. The performance of these approximations depends on (1) how well the variational family matches the true posterior distribution,(2) the choice of divergence, and (3) the optimization of the variational objective. We show that even in the best-case scenario when the exact posterior belongs to the assumed variational family, common stochastic optimization methods lead to poor variational approximations if the problem dimension is moderately large. We also demonstrate that these methods are not robust across diverse model types. Motivated by these findings, we develop a more robust and accurate stochastic optimization framework by viewing the underlying optimization algorithm as producing a Markov chain. Our approach is theoretically motivated and includes a diagnostic for convergence and a novel stopping rule, both of which are robust to noisy evaluations of the objective function. We show empirically that the proposed framework works well on a diverse set of models: it can automatically detect stochastic optimization failure or inaccurate variational approximation

연구 동기 및 목표

• 변분 가족 내에 진짜 사후분포가 존재하더라도, 후행 차원이 중간 정도로 큰 경우 표준 확률적 최적화의 낮은 정확도 문제를 해결하기 위해.
• 노이즈가 있는 목적 함수 평가와 하이퍼파ram터 민감도에 강건한 최적화 프레임워크를 개발하기 위해.
• 수렴 진단 도구인 $\widehat{R}$과 몬테카를로 표준오차(MCSE)를 활용해 신뢰할 수 있는 수렴 탐지 및 조기 정지를 가능하게 하기 위해.
• 반복 평균화와 강건한 정지 기준을 조합하여 통계적 추론과 중요도 샘플링을 위한 변분 근사 품질을 향상시키기 위해.
• 다중 병렬 체인과 $\widehat{R}$ 통계량을 활용해 다모드성 또는 조기 수렴과 같은 최적화 실패를 탐지하기 위해.

제안 방법

• 최적화 과정을 마르코프 체인으로 모델링하여 수렴 진단과 강건한 추론을 가능하게 한다.
• 노이즈가 있는 평가에 강건한 변분 목적 함수의 몬테카를로 표준오차(MCSE) 기반 신규 정지 기준을 도입한다.
• 마지지 반복값을 초월해 최종 변분 매개변수 추정치의 정확도를 향상시키기 위해 반복 평균화(IA)를 적용한다.
• 잠재적 척도 감소 요소($\widehat{R}$)를 진단 도구로 활용하여 다모드성 또는 수렴 불량과 같은 최적화 실패를 탐지한다.
• MCSE 기반 정지 기준과 반복 평균화를 조합하여 고차원 환경에서 더 높은 정확도의 사후 근사치를 달성한다.
• 다중 병렬 체인($J > 1$)을 사용해 수렴 문제를 탐지하고 다모드 최적화 환경에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 변분 가족 내에 진짜 사후분포가 존재하더라도, 고차원 모델에서 표준 확률적 최적화가 정확한 사후 근사치로 안정적으로 수렴할 수 있는가?
• RQ2 노이즈가 있는 목적 함수 평가로 인해 조기 종료가 발생하는 것을 어떻게 탐지하고 방지할 수 있는가?
• RQ3 반복 평균화는 마지막 반복값 대비 변분 근사치의 정확도를 어느 정도 향상시키는가?
• RQ4 $\widehat{R}$ 통계량은 변분 최적화에서 다모드성 또는 수렴 불량과 같은 최적화 실패를 효과적으로 진단할 수 있는가?
• RQ5 다양한 모델 유형에서 표준 $\Delta$ELBO 대비 제안된 MCSE 기반 정지 기준은 수렴 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 강한 사후 상관관계가 있는 고차원 선형 회귀에서 제안된 프레임워크는 반복 평균화와 MCSE 정지 기준을 조합함으로써 변분 근사 오차를 약 두 개의 자리수 감소시켰다.
• MCSE를 정지 기준으로 사용할 경우, 노이즈가 있는 목적 함수 평가로 인해 자주 조기 종료되는 $\Delta$ELBO에 비해 사후 평균과 공분산 추정치가 훨씬 더 정확하게 도출되었다.
• $\widehat{R}$ 통계량은 다모드 모델에서 최적화 실패(다른 국소 최적점으로 수렴)를 성공적으로 탐지하였으며, 다모드 MNIST100 모델에서 최대 $\widehat{R}$ 값은 4.8이었다.
• 반복 평균화는 중요도 샘플링의 신뢰성을 향상시켰으며, $P=60$ 차원에서도 $\hat{k}$ 통계량이 0.5 이하를 유지했지만, 마지막 반복값만으로는 $P=10$에서 0.7 임계값을 초과하였다.
• MCSE 정지 기준은 $\Delta$ELBO 대비 약 1/3 수준의 반복 횟수로도 더 높은 정확도와 낮은 $\hat{k}$를 달성하여 효율성과 강건성 향상을 입증하였다.
• 실제 데이터 실험에서는 반복 평균화가 순간 추정치와 $\hat{k}$ 통계량 측면에서 항상 마지막 반복값을 능가했으며, 다모드 MNIST100 케이스를 제외하고는 모두 동일한 경향을 보였다. 다만 이 경우 마지막 반복값이 약간 더 우수했지만, 둘 다 낮은 성능을 보였다.