[論文レビュー] Reparameterization Gradient for Non-differentiable Models

Wonyeol Lee, Hangyeol Yu+1 more|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Algorithms被引用数 4

ひとこと要約

この論文は、非微分可能な密度をもつモデルにおける確率的変分ベイズ推論のための再パラメータ化勾配推定器を導入する。潜在空間を微分可能な領域と非微分可能な境界に分割し、滑らかな領域では標準的な再パラメータ化を適用し、境界では多様体サンプリングを用いることで、密度が非微分可能であっても、低分散かつ不偏な勾配推定が達成される。

ABSTRACT

We present a new algorithm for stochastic variational inference that targets at models with non-differentiable densities. One of the key challenges in stochastic variational inference is to come up with a low-variance estimator of the gradient of a variational objective. We tackle the challenge by generalizing the reparameterization trick, one of the most effective techniques for addressing the variance issue for differentiable models, so that the trick works for non-differentiable models as well. Our algorithm splits the space of latent variables into regions where the density of the variables is differentiable, and their boundaries where the density may fail to be differentiable. For each differentiable region, the algorithm applies the standard reparameterization trick and estimates the gradient restricted to the region. For each potentially non-differentiable boundary, it uses a form of manifold sampling and computes the direction for variational parameters that, if followed, would increase the boundary’s contribution to the variational objective. The sum of all the estimates becomes the gradient estimate of our algorithm. Our estimator enjoys the reduced variance of the reparameterization gradient while remaining unbiased even for non-differentiable models. The experiments with our preliminary implementation confirm the benefit of reduced variance and unbiasedness.

研究の動機と目的

• 非微分可能な密度をもつモデルにおける、確率的変分ベイズ推論における高分散勾配推定の課題に対処すること。
• 微分可能なモデルで有効な再パラメータ化トリックを、バイアスを導入せずに非微分可能なモデルへと拡張すること。
• 非微分可能な密度が存在する状況でも、勾配推定の分散を低く保ちながら不偏性を確保すること。
• 微分可能な領域における再パラメータ化と、非微分可能な領域における境界に配慮したサンプリングを統合する統一フレームワークの構築

提案手法

• 潜在空間を密度が微分可能な領域と、微分可能性が失われる可能性がある境界に分割する。
• 各微分可能な領域において、標準的な再パラメータ化トリックを適用して低分散勾配推定を行う。
• 非微分可能な境界では、変分目的関数における勾配上昇方向を推定するために多様体サンプリングを用いる。
• アルゴリズムは各領域および境界ごとに勾配寄与を別々に計算し、それらを合算して単一の不偏勾配推定値を生成する。
• この方法により、全体の勾配推定器は不偏性を保ちつつ、再パラメータ化の低分散特性を維持する。

実験結果

リサーチクエスチョン

• RQ1 再パラメータ化トリックは、非微分可能なモデルへと一般化可能であり、かつ分散と不偏性を保持できるか？
• RQ2 潜在空間における微分可能な領域と非微分可能な境界にわたり、勾配推定をどのように効果的に分解できるか？
• RQ3 非微分可能な境界でどのようなサンプリング戦略が、信頼性が高く低分散な勾配推定をもたらすか？
• RQ4 提案手法は、非微分可能な設定においても再パラメータ化の分散低減効果を維持できるか？

主な発見

• 提案された推定器は、非微分可能なモデルにおいて、ベースライン手法と比較して顕著に分散が低減された。
• 多くの代替手法とは異なり、モデル密度が非微分可能であっても、推定器は不偏のまま保たれる。
• 初期実装による実験では、勾配分散の低減において本手法の有効性が確認された。
• 領域固有および境界固有の勾配推定を統合することで、再パラメータ化の利点が非微分可能なモデルへと効果的に拡張された。