[論文レビュー] Quasi-Monte Carlo Variational Inference

Alexander Buchholz, Florian Wenzel+1 more|arXiv (Cornell University)|Jul 4, 2018

Gaussian Processes and Bayesian Inference参考文献 7被引用数 13

ひとこと要約

本稿では、i.i.d. モンテカルロ標本の代わりに低不規則性のQMC（Quasi-Monte Carlo）列を用いることで、変分推論のための確率的最適化における勾配の分散を低減する、Quasi-Monte Carlo Variational Inference（QMCVI）を提案する。ランダム化QMC（RQMC）を用いることで、標準的なSGDよりも収束が早く、漸近的収束速度も向上し、大規模モデルにおいては速度向上が数桁のオーダーに達する。

ABSTRACT

Many machine learning problems involve Monte Carlo gradient estimators. As a prominent example, we focus on Monte Carlo variational inference (MCVI) in this paper. The performance of MCVI crucially depends on the variance of its stochastic gradients. We propose variance reduction by means of Quasi-Monte Carlo (QMC) sampling. QMC replaces N i.i.d. samples from a uniform probability distribution by a deterministic sequence of samples of length N. This sequence covers the underlying random variable space more evenly than i.i.d. draws, reducing the variance of the gradient estimator. With our novel approach, both the score function and the reparameterization gradient estimators lead to much faster convergence. We also propose a new algorithm for Monte Carlo objectives, where we operate with a constant learning rate and increase the number of QMC samples per iteration. We prove that this way, our algorithm can converge asymptotically at a faster rate than SGD. We furthermore provide theoretical guarantees on QMC for Monte Carlo objectives that go beyond MCVI, and support our findings by several experiments on large-scale data sets from various domains.

研究の動機と目的

• 現在i.i.d. 標本に依存し、高いノイズに苦しむ、モンテカルロ変分推論（MCVI）における確率的勾配推定器の分散を低減すること。
• ベイズ推論におけるモンテカルロ目的関数に、i.i.d. 標本の代わりにQuasi-Monte Carlo（QMC）列を用いる理論的および実験的利点を調査すること。
• 一定の学習率を維持しながら反復回数に伴いQMC標本数を増加させる新しい最適化アルゴリズムを構築し、より速い漸近的収束を達成すること。
• MCVIおよびそれ以上の分野におけるQMCに基づく勾配推定器の分散低減と収束速度に関する理論的保証を提供すること。
• STAN や Edward などの既存の確率的プログラミングフレームワークへの実用的統合を可能にし、最小限のコード変更で実現すること。

提案手法

• 単位超立方体 [0,1]^d 上の決定的で低不規則性のQMC列に、MCVIにおけるi.i.d. 均一乱数標本を置き換えることで、カバレッジの向上と分散の低減を図る。
• 標準モンテカルロより漸近的分散が低い一方で推定器の不偏性を保つために、ランダム化QMC（RQMC）を用いる。
• 一定の学習率を維持しながら反復回数に伴いRQMC標本数を増加させる新しい最適化アルゴリズムを導入し、収束を高速化する。
• 強い凸性および弱い正則性の仮定の下で、RQMCに基づくアルゴリズムが標準モンテカルロを用いたSGDよりも漸近的に速く収束することを証明する。
• 変分推論におけるスコア関数推定器と再パラメータライゼーション勾配推定器の両方への適用により、広範な適用可能性を示す。
• 目的分布からの標本抽出に標準的な再パラメータライゼーション技術を適用し、均一乱数生成をRQMC列に置き換えることで、手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 Quasi-Monte Carlo標本は、i.i.d. 標本よりもモンテカルロ変分推論における確率的勾配推定器の分散をより効果的に低減できるか？
• RQ2 ランダム化QMC（RQMC）を用いることで、モンテカルロ目的関数において、標準的なSGDよりも理論的に速い漸近的収束速度が達成できるか？
• RQ3 一定の学習率と増加する標本サイズを持つ最適化アルゴリズムは、RQMC標本を用いる場合にSGDよりも優れた収束を達成できるか？
• RQ4 QMCVIは、ベイジアンニューラルネットワークや大規模データセットのような複雑なモデルにおいて、実際の性能をどのように発揮するか？
• RQ5 QMCVIは、制御変数などの既存の分散低減技術と組み合わせて使用可能か？また、その場合の潜在的なトレードオフは何か？

主な発見

• N=10およびN=50の標本数において、QMCVIは標準モンテカルロおよび制御変数ベースラインと比較して、著しく低い勾配分散を達成しており、1〜3桁のオーダー低減が確認された。
• d=653のパラメータを有するベイジアンニューラルネットワークにおいて、QMCVIはN=10のとき標準MCVIよりも高いELBO値に収束し、N=50では同じELBOにはるかに速く到達した。
• 増加するRQMC標本サイズと一定の学習率を用いた提案アルゴリズムは、2次元正規分布を対象とした実験により、SGDよりも漸近的収束速度が速いことが確認された。
• データサブサンプリングノイズが存在しない状況では、QMCVIは収束速度においてSGDを上回り、最適ELBOからの対数差が反復回数に伴いより速く減少した。
• 理論的解析により、RQMC下での反復の定常分散は、標準モンテカルロと比較してN分の1に低減されることが示された。これにより、最適解に近い収束が可能になった。
• STAN や Edward などの既存の確率的プログラミングツールへのQMCVIの統合は、均一乱数生成の部分をRQMC列に置き換えることで、容易に実現可能である。