[논문 리뷰] A Generalization Bound for Online Variational Inference

Badr-Eddine Chérief-Abdellatif, Pierre Alquier외 1명|arXiv (Cornell University)|2019. 04. 08.

Machine Learning and Algorithms인용 수 2

한 줄 요약

이 논문은 온라인 변분 추론(VI) 알고리즘에 대한 최초의 일반화 경계를 수립하며, 근사 베이지안 방법이 온라인 환경에서 정확한 베이지안 추론의 강력한 일반화 보장을 유지함을 보여준다. 변분 목표의 볼록성에 기반하여 저자들은 SVA, SVB 및 새로운 NGVI 알고리즘에 대한 경계를 유도하며, 실험 결과는 NGVI가 비볼록 손실 조건에서도 기존 방법들을 능가함을 보여준다.

ABSTRACT

Bayesian inference provides an attractive online-learning framework to analyze sequential data, and offers generalization guarantees which hold even with model mismatch and adversaries. Unfortunately, exact Bayesian inference is rarely feasible in practice and approximation methods are usually employed, but do such methods preserve the generalization properties of Bayesian inference ? In this paper, we show that this is indeed the case for some variational inference (VI) algorithms. We consider a few existing online, tempered VI algorithms, as well as a new algorithm, and derive their generalization bounds. Our theoretical result relies on the convexity of the variational objective, but we argue that the result should hold more generally and present empirical evidence in support of this. Our work in this paper presents theoretical justifications in favor of online algorithms relying on approximate Bayesian methods.

연구 동기 및 목표

• 온라인 변분 추론 알고리즘에 대한 이론적 일반화 경계를 수립하기 위해.
• 근사 베이지안 방법이 순차 학습 환경에서 정확한 베이지안 추론의 일반화 성질을 유지하는지 조사하기 위해.
• 이전에 배치 설정에 국한되어 있던 일반화 경계를 온라인 학습 환경으로 확장하기 위해.
• 더 나은 경험적 성능을 보이는 새로운 온라인 VI 알고리즘인 NGVI를 제안하고 분석하기 위해.
• 비볼록성 가정을 초월한 이론적 경계의 탄력성에 대한 경험적 증거를 통해 검증하기 위해.

제안 방법

• 변분 목표 Eθ∼qμ[ℓt(θ)]의 변분 매개수 μ에 대해 볼록성을 활용하여 온라인 VI에 대한 일반화 경계를 유도한다.
• 수렴성과 성능 향상을 위해 설계된 새로운 온라인 VI 알고리즘인 NGVI(비정규 변분 추론)를 제안한다.
• 온라인 VI에 적합한 온라인 알고리즘들인 SVA, SVB, OGA, OGA-EL을 온도 조절된 우도를 사용하여 적응시킨다.
• 제한된 매개수 공간 Mm와 Mσ를 갖는 가우시안 평균-장파라미터 변분 가족 F = {qμ = N(m, diag(σ²))}를 사용한다.
• OGA, OGA-EL, SVA에 대해서는 학습률 η = 1/√T를 사용하고, SVB에 대해서는 ηt = 1/σ²t√t를 사용하며, NGVI에 대해서는 ηt = 1을 사용한다.
• 실제 및 시뮬레이션 데이터셋을 대상으로 볼록 및 비볼록 손실 조건 하에서 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 정확한 베이지안 추론에 대해 유도된 일반화 경계를 온라인 변분 추론로 확장할 수 있는가?
• RQ2 SVA, SVB, NGVI와 같은 온라인 VI 알고리즘이 정확한 베이지안 방법과 동일한 일반화 보장을 유지하는가?
• RQ3 일반화를 위해 변분 목표의 볼록성 가정이 필수적인가, 아니면 경계가 더 일반적으로 성립할 수 있는가?
• RQ4 다양한 손실 함수에서 NGVI의 성능이 SVA, SVB, OGA, OGA-EL과 비교해 실질적으로 어떻게 되는가?
• RQ5 Khan과 Lin(2017)의 비정규 또는 비볼록 매개수화에 대해 이론적 경계를 확장할 수 있는가?

주요 결과

• 모든 데이터셋에서 NGVI는 SVA, SVB, OGA, OGA-EL를 모두 능가하며, 더 빠른 수렴 속도와 더 낮은 누적 손실 성능을 보였다.
• SVA와 SVB에 대한 일반화 경계는 볼록성 가정 하에 유도되었으며, 정확한 베이지안 추론와 유사한 형태를 띤다.
• 경험적 결과는 일반화 성질이 볼록성 조건을 초월하여도 유지됨을 보여주며, NGVI는 회귀에서 ReLU와 같은 비볼록 손실 조건에서도 잘 작동한다.
• 이론적 경계는 Eθ∼qμ[ℓt(θ)]의 볼록성에 의존하지만, 경험적 증거는 경계가 더 일반적으로 성립할 수 있음을 시사한다.
• SVA와 SVB는 뛰어난 성능을 보였지만, NGVI는 모든 데이터셋에서 평균 누적 손실이 가장 낮게 유지되었다.
• 본 연구는 이론적 가정이 완화된 상황에서도 온라인 VI 방법이 실질적으로 일致성과 일반화를 달성할 수 있음을 확인한다.