[論文レビュー] Sliced Kernelized Stein Discrepancy

Wenbo Gong, Yingzhen Li+1 more|arXiv (Cornell University)|Jun 30, 2020

Mathematical Approximation and Integration参考文献 48被引用数 14

ひとこと要約

本稿では、高次元スコア関数とテスト関数を1次元のランダムな方向に投影することで次元の呪いを軽減する、スライスド・カーネル化されたスティーン分散（SSD）とそのスケーラブルな変種であるmaxSKSDを提案する。この手法は、カーネル化されたスティーン分散（KSD）における次元の呪いを緩和し、高次元における適合度検定とモデル学習を顕著に改善する。特に、S-SVGD—新規の粒子推論アルゴリズム—は、変分オートエンコーダーやベイジアンニューラルネットワークにおけるモード崩壊を低減させ、SVG Dを上回る性能を発揮する。

ABSTRACT

Kernelized Stein discrepancy (KSD), though being extensively used in goodness-of-fit tests and model learning, suffers from the curse-of-dimensionality. We address this issue by proposing the sliced Stein discrepancy and its scalable and kernelized variants, which employ kernel-based test functions defined on the optimal one-dimensional projections. When applied to goodness-of-fit tests, extensive experiments show the proposed discrepancy significantly outperforms KSD and various baselines in high dimensions. For model learning, we show its advantages over existing Stein discrepancy baselines by training independent component analysis models with different discrepancies. We further propose a novel particle inference method called sliced Stein variational gradient descent (S-SVGD) which alleviates the mode-collapse issue of SVGD in training variational autoencoders.

研究の動機と目的

• カーネル化されたスティーン分散（KSD）に影響を及げる次元の呪いに対処すること。これは、高次元における適合度検定と粒子推論の性能を低下させる。
• 1次元の投影を活用することで、高次元でも統計的パワーを維持する、スケーラブルで理論的裏付けのある乖離測度を開発すること。
• 標準的なSVG Dに代えて、新規の粒子推論アルゴリズム、つまりスライスド・スティーン変分勾配降下（S-SVGD）を導入することで、モデル学習と変分推論を向上させること。
• ベンチマーク問題、独立成分分析、および変分オートエンコーダー上で手法を検証し、収束性の向上とモード崩壊の低減を示すこと。

提案手法

• スコア関数とテスト関数をランダムな1次元方向に投影することで、スライスド・スティーン分散（SSD）を提案し、問題を1次元最適化に還元する。
• 最大乖離を達成する最適なスライシング方向を選択するスケーラブルな変種maxSKSDを導入し、カーネルテクニックを用いて計算を効率化する。
• 適合度検定に使用するための、最適なテスト方向を備えたmaxSKSDの不偏推定器を導出する。
• maxSKSDを用いた決定的変換を適用する粒子推論法であるスライスド・スティーン変分勾配降下（S-SVGD）を開発し、モード崩壊を回避する。
• テスト関数に再生核ヒルバート空間（RKHS）を採用し、カーネル関数およびその勾配を用いてmaxSKSDの解析的表現を導出する。
• 初期段階での粒子の凝集を防ぐために、適応的帯域幅選択と初期反発力のチューニングをS-SVGDに導入する。

実験結果

リサーチクエスチョン

• RQ1 高次元スコア関数を1次元方向に投影することで、適合度検定における統計的パワーを保持または向上させることができるか？
• RQ2 提案されたmaxSKSDは、高次元における適合度検定でKSDや他のベースラインを上回るか？
• RQ3 S-SVGDは、標準的なSVG Dと比較して、変分オートエンコーダーにおけるモード崩壊を効果的に軽減できるか？
• RQ4 独立成分分析（ICA）のような高次元モデル学習タスクにおいて、maxSKSDはどのように性能を発揮するか？
• RQ5 特に小規模データセットにおいて、S-SVGDはベイジアンニューラルネットワーク回帰における不確実性の評価と一般化性能を向上させるか？

主な発見

• maxSKSDは、高次元ベンチマーク問題および制限ボルツマンマシンモデルにおける適合度検定で、KSDや他のベースラインを顕著に上回る。
• 独立成分分析において、maxSKSDは既存のスティーン分散ベースラインよりも高速な収束を実現する。
• 変分オートエンコーダーにおいて、S-SVGDはモード崩壊を低減し、特に小規模データセットにおいて、標準的なSVG Dよりも高い画像生成精度を達成する。
• UCI回帰ベンチマークでは、9つのデータセットのうち7つでS-SVGDがSVG Dを上回り、特にボストン・ハービングやヨートの小規模データセットにおいて、粒子の分散性が向上し、不確実性の評価が改善されている。
• 9つのデータセットのうち7つで、S-SVGDはRMSEが低く、対数尤度が高くなる。粒子の合計距離は最大5倍まで増加しており、粒子の多様性が向上していることが示唆される。
• 大規模なプロテインデータセットでは、SVG Dがわずかに優れている（エピステミック不確実性が低いため）が、S-SVGDは依然として小規模でノイズの多いデータセットにおいて不確実性推定の面で優位性を示す。