[論文レビュー] On the properties of variational approximations of Gibbs posteriors

Pierre Alquier, James Ridgway+1 more|arXiv (Cornell University)|Jun 12, 2015

Markov Chains and Monte Carlo Methods参考文献 44被引用数 77

ひとこと要約

この論文は、PACベイジアン学習で用いられるギブス事後分布の変分ベイズ（VB）近似が、集中不等式が成り立ち、真の事後分布と近似事後分布のKLダイバージェンスが制御されている限り、元の計算不能な事後分布と同等の収束速度を達成することを確立している。この手法により、理論的性能保証を失うことなく、大規模データセットにおける高速かつスケーラブルな推論が可能になる。

ABSTRACT

The PAC-Bayesian approach is a powerful set of techniques to derive non- asymptotic risk bounds for random estimators. The corresponding optimal distribution of estimators, usually called the Gibbs posterior, is unfortunately intractable. One may sample from it using Markov chain Monte Carlo, but this is often too slow for big datasets. We consider instead variational approximations of the Gibbs posterior, which are fast to compute. We undertake a general study of the properties of such approximations. Our main finding is that such a variational approximation has often the same rate of convergence as the original PAC-Bayesian procedure it approximates. We specialise our results to several learning tasks (classification, ranking, matrix completion),discuss how to implement a variational approximation in each case, and illustrate the good properties of said approximation on real datasets.

研究の動機と目的

• PACベイジアン学習におけるギブス事後分布の変分ベイズ近似について理論的保証を確立すること。
• 適切な集中条件のもとで、VB近似が元のギブス事後分布と同等の収束速度を保つことを示すこと。
• 多様な学習タスクに応じたVB近似の実装に向けた実用的アルゴリズムと経験的バウンディングを提供すること。
• 大規模なギブス事後分布推論において、MCMCの代替としてVBを標準的選択肢とするべきであることを提唱すること。
• 分類、順位付け、行列補完を含む応用分野に理論的結果を拡張すること。

提案手法

• 予測リスクの上界を最小化するPACベイジアン分布としてギブス事後分布を形式化する。
• 計算不能なギブス事後分布を、平均場族の分布を用いて変分推論により近似する。
• ホーフィング型およびベルヌーイ型集中不等式のもとで、真のギブス事後分布とVB近似との間のKLダイバージェンスに対する理論的バウンディングを導出する。
• 潜在変数とハイパーパrameterの因子分解された事後分布を、条件付き期待値を用いて繰り返し更新する変分アルゴリズムを提案する。
• VB近似推定量の性能を評価するために、データから直接計算可能な経験的バウンディングを導入する。
• 分類、凸分類、順位付け、行列補完の各分野に一般枠組みを特化し、それぞれに適した変分族と事前分布を導入する。

実験結果

リサーチクエスチョン

• RQ1 ギブス事後分布の変分ベイズ近似は、元のPACベイジアン推定量と同等の収束速度を維持できるか？
• RQ2 リスク関数および集中不等式にどのような条件下で、VB近似が最適な収束速度を保つのか？
• RQ3 分類や行列補完のような実用的学習タスクにおいて、変分近似をどのように効率的に実装できるか？
• RQ4 データから直接計算可能な経験的バウンディングは、VB近似されたギブス事後分布の性能を検証するためにどのようなものか？
• RQ5 大規模なギブス事後分布推論において、VBアプローチはMCMCのスケーラブルな代替手段として理論的に正当化されるか？

主な発見

• ホーフィング型集中不等式のもとでは、変分近似は元のギブス事後分布と同等の遅い収束速度を達成する。
• ベルヌーイ型集中不等式のもとでは、変分近似は元のギブス事後分布と同等の速い収束速度を達成する。
• 行列補完の文脈では、真の事後分布とVB近似とのKLダイバージェンスが $\mathcal{C}(a,C)\left\{r(m_{1}+m_{2})\log\left[\beta b(m_{1}+m_{2})K\right]+\frac{1}{\beta}\right\}$ で有界であり、これは収束速度の一貫性を保証する。
• 行列補完におけるVB近似の収束速度は $\mathcal{O}\left(\frac{r(m_{1}+m_{2})\log[nb(m_{1}+m_{2})K]}{n}\right)$ であり、対数要因を除いて既知のミニマックス下界と一致する。
• 理論的結果から、ギブス事後分布が（対数項を除いて）ミニマックス最適である場合、同じ条件下でVB近似に対しても同様の最適性が保証される。
• VB近似推定量のリスクに関する経験的バウンディングは、真のラベルがなくてもデータから直接計算可能であり、性能評価が可能になる。