[論文レビュー] Stein Self-Repulsive Dynamics: Benefits From Past Samples

Mao Ye, Tongzheng Ren+1 more|arXiv (Cornell University)|Feb 21, 2020

Markov Chains and Monte Carlo Methods参考文献 36被引用数 5

ひとこと要約

本稿では、自己相関を低減するために、ステイン変分勾配降下法から導出された反発力を取り入れた、ラングジュアンMCMCを向上させる新規手法、Stein自己反発ダイナミクスを提案する。過去の軌道情報を活用することで、正しい定常分布を維持しつつ、未正規化されたターゲット分布における有効サンプルサイズと不確実性推定を顕著に改善する。

ABSTRACT

We propose a new Stein self-repulsive dynamics for obtaining diversified samples from intractable un-normalized distributions. Our idea is to introduce Stein variational gradient as a repulsive force to push the samples of Langevin dynamics away from the past trajectories. This simple idea allows us to significantly decrease the auto-correlation in Langevin dynamics and hence increase the effective sample size. Importantly, as we establish in our theoretical analysis, the asymptotic stationary distribution remains correct even with the addition of the repulsive force, thanks to the special properties of the Stein variational gradient. We perform extensive empirical studies of our new algorithm, showing that our method yields much higher sample efficiency and better uncertainty estimation than vanilla Langevin dynamics.

研究の動機と目的

• ラングジュアンダイナミクスにおける高い自己相関が、有効サンプルサイズを低下させ、複雑な未正規化分布の探索を困難にすることを是正すること。
• 無限個の粒子を必要としないが、SVG Dのような並列粒子系の利点を享受できる単一チェーンのサンプリング手法を開発すること。
• 過去のサンプルに基づく反発力を導入しつつも、定常分布の漸近的正しさを維持すること。
• 挑戦的な確率的モデリングタスクにおけるサンプルの多様性と不確実性推定を向上させること。

提案手法

• ステイン変分勾配を反発力としてラングジュアンダイナミクスに統合し、新しいサンプルが過去の軌道から遠ざかるようにする。
• 過去のサンプルの経験的分布を用いて、勾配降下と自己反発を組み合わせた速度場を計算する。
• 核化されたステイン不一致を用いて反発力を計算し、定常分布が変化しないように保証する。
• 過去のサンプルの履歴に依存する時間に依存する非マルコフ的ダイナミクスを採用し、高階マルコフ過程となる。
• ポテンシャル関数とカーネルの滑らかさに関する弱い条件下で、漸近的正しさを示す収束解析により理論的裏付けを与える。
• 局所的探索とグローバルな多様性の両立を図るため、固定帯域幅のガウスカーネルを用いて反発力を計算する。

実験結果

リサーチクエスチョン

• RQ1 過去の軌道情報を利用することで、単一チェーンのMCMC手法がサンプルの多様性を向上させ、自己相関を低減できるか？
• RQ2 ステイン変分反発力の追加が、ラングジュアンダイナミクスにおける正しい定常分布を保持するか？
• RQ3 提案手法は、バニララングジュアンダイナミクスと比較して、有効サンプルサイズと不確実性推定において優れているか？
• RQ4 非線形的で高階マルコフ的であるこのダイナミクスが、ターゲット分布への収束をどのように理論的に裏付けられるか？

主な発見

• 提案手法は、サンプルの自己相関を顕著に低減し、バニララングジュアンダイナミクスと比較してはるかに高い有効サンプルサイズを達成する。
• ダイナミクスの定常分布は、ステイン変分勾配の理論的性質により、正確にターゲット分布のまま保たれる。
• 実験的結果では、高次元およびマルチモーダルな分布を含む、複数の挑戦的なサンプリングタスクにおいて、優れた不確実性推定が得られる。
• より少ない反復回数で同等の近似精度に到達できるため、サンプル効率が向上する。
• 理論的解析により、過去のサンプルの履歴に完全に依存する非マルコフ的ダイナミクスでも、ターゲット分布への収束が保証されることが確認された。