[論文レビュー] Pathwise Derivatives Beyond the Reparameterization Trick

Martin Jankowiak, Fritz Obermeyer|arXiv (Cornell University)|Jun 5, 2018

Gaussian Processes and Bayesian Inference参考文献 33被引用数 26

ひとこと要約

本論文は、再パラメータライゼーショントリックの一般化として最適輸送（OMT）勾配を導入し、Gamma、Beta、Dirichletなどの標準的な再パラメータライゼーションに適さない分布に対しても低分散のパスワイズ勾配を可能にする。また、Cholesky分解による多変量正規分布の再パラメータライゼーショントリックが最適輸送の観点から劣化していることを示し、分散を低減し、ガウス過程回帰や変分推論タスクでの性能を向上させる改善された勾配を導出する。

ABSTRACT

We observe that gradients computed via the reparameterization trick are in direct correspondence with solutions of the transport equation in the formalism of optimal transport. We use this perspective to compute (approximate) pathwise gradients for probability distributions not directly amenable to the reparameterization trick: Gamma, Beta, and Dirichlet. We further observe that when the reparameterization trick is applied to the Cholesky-factorized multivariate Normal distribution, the resulting gradients are suboptimal in the sense of optimal transport. We derive the optimal gradients and show that they have reduced variance in a Gaussian Process regression task. We demonstrate with a variety of synthetic experiments and stochastic variational inference tasks that our pathwise gradients are competitive with other methods.

研究の動機と目的

• 再パラメータライゼーショントリックの範囲を超えて、Gamma、Beta、Dirichletのようないくつかの分布に対し、パスワイズ勾配推定を一般化すること。
• 最適輸送理論を用いて、最適なパスワイズ勾配を特定・導出することにより、標準的な再パラメータライゼーション勾配が特定の状況で劣化していることを示すこと。
• Cholesky分解でパラメータ化された多変量正規分布における勾配の分散を低減すること。
• ガウス過程回帰や合成的な変分推論タスクを含む実用的応用において、性能の向上を示すこと。

提案手法

• 再パラメータライゼーショントリックと最適輸送理論における輸送方程式の解との間の対応関係を確立する。
• 最適輸送の観点で分散を最小化する解として、最適パスワイズ勾配（OMT勾配）を導出する。
• OMTフレームワークを用いて、Cholesky要因でパラメータ化された多変量正規分布の閉形式勾配を導出し、標準的な再パラメータライゼーションが劣化していることを示す。
• 輸送方程式の数値解を用いて、Gamma、Beta、Dirichletのような単変量分布の高精度な近似パスワイズ勾配を構築する。
• 多変量設定における再パラメータライゼーション勾配とOMT勾配の幾何的差異を可視化するための速度場の可視化を実施する。
• ガウス過程回帰やスパースなガンマ定義モデルを含む、合成実験と実世界のタスクを用いて性能を検証し、単一サンプル勾配推定器を用いる。

実験結果

リサーチクエスチョン

• RQ1 Gamma、Beta、Dirichletのようないくつかの分布に対して、標準的な再パラメータライゼーションが存在しない場合でも、パスワイズ勾配を体系的に導出できるか？
• RQ2 Cholesky分解による多変量正規分布において、標準的な再パラメータライゼーショントリックが最適輸送の観点で劣化しているか？
• RQ3 OMT勾配は、確率的変分推論における勾配の分散を低減し、収束を改善できるか？
• RQ4 ELBO最適化および学習安定性の観点から、OMT勾配はスコア関数推定器や再パラメータライゼーション推定器と比較してどのように異なるか？

主な発見

• Cholesky分解による多変量正規分布の再パラメータライゼーショントリックは、速度場において大きな回転成分を生じさせ、最適輸送の観点から劣化していることを示している。
• 多変量正規分布のOMT勾配は解析的に導出され、ガウス過程回帰タスクにおいて再パラメータライゼーション勾配よりも低い分散を示している。
• Gamma、Beta、Dirichlet分布に対しては、最適輸送フレームワークを用いて高精度な近似パスワイズ勾配が成功裏に計算された。
• 合成実験では、OMT勾配は再パラメータライゼーショントリックやスコア関数推定器よりも低い分散とより速い収束を達成した。
• スパースなガンマ定義モデルでは、OMT勾配推定器が再パラメータライゼーショントリックを上回り、より高いELBOを達成し、より速く収束した。
• 複雑で再パラメータライズ不能な尤度を持つ複数の変分推論タスクにおいて、OMT勾配推定器は一貫した性能向上を示した。