[論文レビュー] Grassmann Stein Variational Gradient Descent

Xing Liu, Harrison Zhu+3 more|arXiv (Cornell University)|Feb 7, 2022

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、高次元ベイジアン推論における不確実性評価を向上させるために、Grassmann多様体上での結合されたODE-SDE系を用いて、データおよびスコア関数をm次元部分空間へ動的に投影する、新しい粒子ベースの推論手法であるGrassmann Stein Variational Gradient Descent (GSVGD)を提案する。GSVGDは、特に内在的な低次元構造を有する問題において、epistemic不確実性の推定においてSVG D や S-SVGD を上回り、平均推定の正確性を維持する。

ABSTRACT

Stein variational gradient descent (SVGD) is a deterministic particle inference algorithm that provides an efficient alternative to Markov chain Monte Carlo. However, SVGD has been found to suffer from variance underestimation when the dimensionality of the target distribution is high. Recent developments have advocated projecting both the score function and the data onto real lines to sidestep this issue, although this can severely overestimate the epistemic (model) uncertainty. In this work, we propose Grassmann Stein variational gradient descent (GSVGD) as an alternative approach, which permits projections onto arbitrary dimensional subspaces. Compared with other variants of SVGD that rely on dimensionality reduction, GSVGD updates the projectors simultaneously for the score function and the data, and the optimal projectors are determined through a coupled Grassmann-valued diffusion process which explores favourable subspaces. Both our theoretical and experimental results suggest that GSVGD enjoys efficient state-space exploration in high-dimensional problems that have an intrinsic low-dimensional structure.

研究の動機と目的

• 高次元のターゲット分布におけるStein Variational Gradient Descent (SVGD) の分散低減問題に対処する。
• S-SVGDにおける1次元投影の限界を克服し、固定されたスコア関数の投影によりepistemic不確実性を過大評価する問題を解消する。
• データおよびスコア関数のためのプロジェクタを同時に最適化する統一フレームワークを構築し、状態空間の探索を向上させる。
• 内在的な低次元構造を有する高次元問題において、より高い次元の部分空間を用いることで、正確な不確実性推定を可能にする。
• 探索と活用のバランスを取るためのGrassmann値をとる確率的拡散過程を導入する。

提案手法

• m次元部分空間における提案分布とターゲット分布の乖離を測定するためのGrassmannカーネルStein不一致度 (GKSD) を提案する。
• SVGD粒子とGrassmannプロジェクタが同時に進化する連立ODE-SDE系を定式化し、プロジェクタがGrassmann多様体上の拡散過程によって駆動されるようにする。
• Grassmann多様体上での確率過程を用いて、乖離を最大化する最適なm次元部分空間を動的に学習し、有利な方向の動的探索を可能にする。
• データおよびスコア関数の両方のプロジェクタを同時に更新することで、従来の方法が固定された投影を採用するための決定的バイアスを回避する。
• 任意のm次元投影 (1 ≤ m ≤ d) を許容し、成分間の相関を捉えることで、1次元スライスよりも不確実性評価を向上させる。
• 複数のプロジェクタを用いることで多様性と収束性を向上させる、GSVGDのバッチ版拡張を導入する。

実験結果

リサーチクエスチョン

• RQ1 1次元投影と比較して、より高い次元の部分空間 (m > 1) は、高次元ベイジアン推論における不確実性評価を改善するか？
• RQ2 データおよびスコア関数の両方のプロジェクタを同時に最適化することで、SVGDにおけるバイアス低減と推定精度向上が達成されるか？
• RQ3 Grassmann値をとる拡散過程は、部分空間選択において探索と活用のバランスをどのように取るか？
• RQ4 GSVGDは、高次元問題における平均および共分散推定において、HMCの基準事後分布とより良い一致を達成できるか？
• RQ5 GSVGDの性能は、投影次元mや拡散過程のハイパーパrameterの選択にどれほど敏感か？

主な発見

• 高次元確率過程推論問題において、GSVGDはSVG D や S-SVGD よりもより正確な不確実性推定を達成し、信頼区間がHMC基準と密接に一致する。
• Covertypeデータセットの実験では、m ≈ 10のGSVGDが、不確実性を著しく過大評価するS-SVGDを上回り、最も正確な事後共分散推定を達成する。
• GSVGDは、成分間の相関を捉えるm次元部分空間を活用することで、高次元問題における分散低減を実現する。
• 異なる投影次元において、GSVGDの結果とHMC基準との間のエネルギー距離は、SVG D や S-SVGD よりも一貫して低く、近似品質が優れていることを示す。
• GSVGDの最適な投影次元は自明ではないが、中程度の範囲内にあり（例：確率過程問題ではm ≈ 20）、mの値の広い範囲で性能が安定している。
• ハイパーパrameterはヒューリスティックによる調整で頑健に動作するが、感度分析から最適性能を得るためには状況に応じたチューニングが必要な可能性がある。