[論文レビュー] Stein Variational Gradient Descent With Matrix-Valued Kernels

Dilin Wang, Ziyang Tang+2 more|PubMed|Oct 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 41

ひとこと要約

この論文は、マトリクス値カーネルを用いて前条件情報（例：ヘシアン、フィッシャー）を組み込むことで SVGD を一般化し、ベイズ推論の性能を改善することを示す。

ABSTRACT

Stein variational gradient descent (SVGD) is a particle-based inference algorithm that leverages gradient information for efficient approximate inference. In this work, we enhance SVGD by leveraging preconditioning matrices, such as the Hessian and Fisher information matrix, to incorporate geometric information into SVGD updates. We achieve this by presenting a generalization of SVGD that replaces the <i>scalar-valued</i> kernels in vanilla SVGD with more general <i>matrix-valued</i> kernels. This yields a significant extension of SVGD, and more importantly, allows us to flexibly incorporate various preconditioning matrices to accelerate the exploration in the probability landscape. Empirical results show that our method outperforms vanilla SVGD and a variety of baseline approaches over a range of real-world Bayesian inference tasks.

研究の動機と目的

• 前処理情報を活用した SVGD の一般化を動機づけ、開発する。
• 座標相関を捉えるためにマトリクス値カーネルを用いたベクトル値 RKHS を導入する。
• マトリクス値カーネルの設計を導く理論的成果と実践的手順を提供する。
• vanilla SVGD およびベースラインに対する実データのタスクでの経験的改善を示す。

提案手法

• スカラー核をマトリクス値核に置換して SVGD のベクトル値 RKHS を形成する。
• マトリクス値 RKHS における最適変換を導出し、vanilla SVGD に類似した閉形式の更新（式 (9)）を得る。
• 核が k(x,x')I の場合、標準 SVGD は特別なケースであることを示し、他の変種を特別な場合として含める。
• 実用的な核設計を導入: 定数前処理、点ごとの前処理、アンカー点全体の混合前処理。
• マトリクス値カーネルと変更変数前処理との関係を説明し、ガイダンス（定理3）を提供する。
• マトリクス SVGD のアルゴリズム的手順（アルゴリズム 1）を提供し、SVN および pSGLD との関連を議論する。

実験結果

リサーチクエスチョン

• RQ1 SVGD をどのように拡張してマトリクス値カーネルを介して前処理情報を組み込むことができるか。
• RQ2 マトリクス値カーネルをどのように設計すればヘシアン情報やフィッシャー情報を効果的に符号化できるか。
• RQ3 変更変数の視点を含む、マトリクス値カーネルをSVGD に用いることの理論的・実践的含意は何か。
• RQ4 マトリクス値 SVGD の派生が vanilla SVGD および他のベースラインよりもベイズ推論タスクで優れているか。
• RQ5 これらの手法をベイジアンニューラルネットワークや文言分類などの実世界モデルに拡張・スケーリングするにはどうすればよいか。

主な発見

• マトリクス値カーネルは SVGD をベクトル値 RKHS に拡張し、前処理情報の組み込みを可能にする。
• 最適な更新方向は閉形式のままで、SVGD の更新を一般化する（式 9）。
• 定数前処理（例：ヘシアン情報やフィッシャー情報）の導入は、実験で vanilla SVGD より収束を改善する。
• アンカー点全体での混合前処理（例：粒子をアンカーとして使用）により、報告されたタスクで最良の性能を得る。
• 経験的結果は、ベイズ的ロジスティック回帰、ニューラルネットワーク、文言分類タスクで vanilla SVGD およびベースラインよりも改善を示す。