[論文レビュー] A Generalization Bound for Online Variational Inference

Badr-Eddine Chérief-Abdellatif, Pierre Alquier+1 more|arXiv (Cornell University)|Apr 8, 2019

Machine Learning and Algorithms被引用数 2

ひとこと要約

この論文は、オンライン変分ベイズ推論（VI）アルゴリズムにおける一般化境界を初めて確立し、近似ベイズ手法がオンライン設定下でも正確なベイズ推論が持つ強力な一般化保証を維持することを示している。変分目的関数の凸性を活用することで、SVA、SVB、および新しいNGVIアルゴリズムの境界を導出している。実験結果は、非凸損失下でもNGVIが既存手法を上回ることを示している。

ABSTRACT

Bayesian inference provides an attractive online-learning framework to analyze sequential data, and offers generalization guarantees which hold even with model mismatch and adversaries. Unfortunately, exact Bayesian inference is rarely feasible in practice and approximation methods are usually employed, but do such methods preserve the generalization properties of Bayesian inference ? In this paper, we show that this is indeed the case for some variational inference (VI) algorithms. We consider a few existing online, tempered VI algorithms, as well as a new algorithm, and derive their generalization bounds. Our theoretical result relies on the convexity of the variational objective, but we argue that the result should hold more generally and present empirical evidence in support of this. Our work in this paper presents theoretical justifications in favor of online algorithms relying on approximate Bayesian methods.

研究の動機と目的

• オンライン変分ベイズ推論アルゴリズムの理論的一般化境界を確立すること。
• 近似ベイズ手法が逐次学習における正確なベイズ推論の一般化特性を保持しているかどうかを調査すること。
• 従来のバッチ設定に限られていた一般化境界をオンライン学習の枠組みに拡張すること。
• 一般化性能に優れた新しいオンラインVIアルゴリズムNGVIを提案・分析すること。
• 非凸性仮定の下でも理論的境界が成立するか、実験的証拠を用いてその頑健性を評価すること。

提案手法

• 変分パラメータμに関する変分目的関数Eθ∼qμ[ℓt(θ)]の凸性を活用し、オンラインVIの一般化境界を導出する。
• 収束性と性能の向上を目的とした新しいオンラインVIアルゴリズムNGVI（非ガウス的変分ベイズ推論）を提案する。
• 既存のオンラインアルゴリズム（SVA、SVB、OGA、OGA-EL）を、温度調整された尤度関数を用いたオンラインVIに適応する。
• 有界なパrameter空間MmとMσを持つガウス平均場変分族F = {qμ = N(m, diag(σ²))}を採用する。
• OGA、OGA-EL、SVAには学習率η = 1/√Tを、SVBにはηt = 1/σ²t√tを、NGVIにはηt = 1を用いる。
• 凸損失および非凸損失の下で、実世界および合成データセットを用いた実験により理論的知見を検証する。

実験結果

リサーチクエスチョン

• RQ1 正確なベイズ推論に導かれた一般化境界を、オンライン変分ベイズ推論に拡張できるか？
• RQ2 SVA、SVB、NGVIなどのオンラインVIアルゴリズムが、正確なベイズ手法と同等の一般化保証を維持できるか？
• RQ3 一般化のためには変分目的関数の凸性仮定が必要なのか、それとも境界はより一般的に成立するのか？
• RQ4 さまざまな損失関数において、NGVIの性能はSVA、SVB、OGA、OGA-ELと比べてどのように異なるか？
• RQ5 KhanとLin（2017）の非ガウス的・非凸的パrameterizationのような設定に対しても、理論的境界を拡張できるか？

主な発見

• NGVIはすべてのデータセットでSVA、SVB、OGA、OGA-ELを上回り、収束が速く、累積損失性能が優れている。
• SVAおよびSVBの一般化境界は凸性仮定のもとで導出されており、正確なベイズ推論と類似した形をしている。
• 実験的結果から、一般化特性は凸性を越えて成立することが示されており、NGVIは回帰におけるReLUのような非凸損失下でも良好に動作する。
• 理論的境界はEθ∼qμ[ℓt(θ)]の凸性に依存しているが、実験的証拠から境界がより一般的に成立する可能性がある。
• SVAおよびSVBは優れた性能を示すが、NGVIはすべてのデータセットで平均累積損失が最小となり、一貫して優位性を示している。
• 本研究は、理論的仮定が緩和されても、オンラインVI手法が実際の場面で一貫性と一般化を達成できることを確認している。