[論文レビュー] A stochastic Stein Variational Newton method

Alex Leviyev, Joshua Chen+3 more|arXiv (Cornell University)|Apr 19, 2022

Markov Chains and Monte Carlo Methods被引用数 7

ひとこと要約

本稿では、収束速度が速いStein variational Newton (SVN)と、漸近的に正しい結果を得られるstochastic SVGD (sSVGD)を組み合わせたstochastic Stein variational Newton (sSVN)手法を提案する。stochastic differential equationから導出されたノイズ項と、Levenbergに類似した減衰項を組み合わせることで、sSVGDに比べて勾配評価回数を最大3桁削減しつつ、不偏サンプリングを達成する。

ABSTRACT

Stein variational gradient descent (SVGD) is a general-purpose optimization-based sampling algorithm that has recently exploded in popularity, but is limited by two issues: it is known to produce biased samples, and it can be slow to converge on complicated distributions. A recently proposed stochastic variant of SVGD (sSVGD) addresses the first issue, producing unbiased samples by incorporating a special noise into the SVGD dynamics such that asymptotic convergence is guaranteed. Meanwhile, Stein variational Newton (SVN), a Newton-like extension of SVGD, dramatically accelerates the convergence of SVGD by incorporating Hessian information into the dynamics, but also produces biased samples. In this paper we derive, and provide a practical implementation of, a stochastic variant of SVN (sSVN) which is both asymptotically correct and converges rapidly. We demonstrate the effectiveness of our algorithm on a difficult class of test problems -- the Hybrid Rosenbrock density -- and show that sSVN converges using three orders of magnitude fewer gradient evaluations of the log likelihood than its stochastic SVGD counterpart. Our results show that sSVN is a promising approach to accelerating high-precision Bayesian inference tasks with modest-dimension, $d\sim\mathcal{O}(10)$.

研究の動機と目的

• 決定的Stein variational Newton (SVN)におけるバイアスを解消しつつ、その高速収束性を維持すること。
• sSVGDと同様にノイズ注入によって漸近的に正しい結果を得られる、SVNの確率的変種を開発すること。
• 低〜中程度の次元問題（$d \sim \mathcal{O}(10)$）における効率的で高精度なベイズ推論を可能にすること。
• 動的システムにLevenbergに類似した減衰項を導入することで、収束速度と安定性を向上させること。
• sSVGDに比べて、対数尤度勾配評価回数を桁違いに減らしながらも、正確な事後分布再構築を達成できることを示すこと。

提案手法

• stochastic differential equationの離散化から導出されるノイズ項を追加することで、SVNの確率的変種（sSVN）を導出する。これにより、漸近的に正しい結果が保証される。
• 最適化におけるニュートン法に類似したヘッセ行列の情報を粒子動力学に組み込むことで収束を加速する。
• 流れの安定化とグローバル化の向上、特に狭いリッジ領域において顕著な効果を発揮する、Levenbergに類似した減衰項を導入する。
• カーネル化されたStein散 discrepancyフレームワークを用いて、関数的勾配およびニュートン更新方向を定義する。
• ニュートンステップに加えてノイズを含む提案分布を有するマルコフ連鎖を実装することで、漸近的に正しいサンプリングを実現する。
• 減衰スケジューリングまたはメトロポリス・ハスティングス補正を適用することで、定常分布におけるバイアスをさらに低減する。

実験結果

リサーチクエスチョン

• RQ1 漸近的に正しい結果を得つつも高速収束性を維持できる、Stein variational Newton (SVN)の確率的変種を構築できるか？
• RQ2 stochastic differential equationから導出されるノイズ項の導入が、SVNの動的システムにおける収束性とバイアスに与える影響は何か？
• RQ3 sSVGDに比べて、sSVNは事後分布の収束に要する対数尤度勾配評価回数をどの程度削減できるか？
• RQ4 Levenbergに類似した減衰項は、高曲率の事後分布領域におけるsSVNの安定性とロバストネスをどのように向上させるか？
• RQ5 sSVNは、ハイブリッド・ローゼンブロック密度のような挑戦的なテスト問題において、高精度な事後分布再構築を達成できるか？

主な発見

• 5次元のハイブリッド・ローゼンブロック問題において、sSVNはsSVGDに比べて勾配評価回数を約1,000倍削減しながら、事後分布の再構築を達成した。
• 10次元のハイブリッド・ローゼンブロックテストケースでは、sSVNは約200イテレーションで平衡状態に達するが、sSVGDは10,000回を超えるイテレーションを要した。
• sSVNの最終サンプルは、P-Pプロットおよびコーナープロットにより、真値と非常に良好に一致しており、最終イテレーションが100回程度でも良好な結果を得られた。
• sSVNはモーメント収束において優れた性能を示し、5次元ケースではすべてのモーメントが100イテレーション以内に安定化したが、sSVGDでは10,000回以上を要した。
• アルゴリズムはSVNのアフィン不変性を引き継いでおり、事後分布の狭いリッジ領域に対してもより大きなステップサイズを用いることができ、よりロバストである。
• 減衰スケジューリングまたはメトロポリス・ハスティングス補正の適用により、定常分布におけるバイアスが完全に除去され、漸近的に正しい結果が得られた。