[論文レビュー] Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures

Lin Wu, Mohammad Emtiyaz Khan+1 more|arXiv (Cornell University)|Oct 29, 2019

Analytic Number Theory Research参考文献 21被引用数 8

ひとこと要約

本稿は、正規混合分布（任意の共分散行列を含む）を含む指数型分布族混合分布へ、スティーンの補題を一般化し、弱い滑らかさの仮定のもとで再パrameterization勾配推定の統一的枠組みを可能にする。本稿は、スティーンの補題と再パラメータ化トリックの直接的な関係を確立し、多変量スチューデントt分布、スケュー正規分布、正規逆ガウス分布などの分布に対して新たな勾配恒等式を導出する。従来の研究の制限を超える。

ABSTRACT

Stein's method (Stein, 1973; 1981) is a powerful tool for statistical applications and has significantly impacted machine learning. Stein's lemma plays an essential role in Stein's method. Previous applications of Stein's lemma either required strong technical assumptions or were limited to Gaussian distributions with restricted covariance structures. In this work, we extend Stein's lemma to exponential-family mixture distributions, including Gaussian distributions with full covariance structures. Our generalization enables us to establish a connection between Stein's lemma and the reparameterization trick to derive gradients of expectations of a large class of functions under weak assumptions. Using this connection, we can derive many new reparameterizable gradient identities that go beyond the reach of existing works. For example, we give gradient identities when the expectation is taken with respect to Student's t-distribution, skew Gaussian, exponentially modified Gaussian, and normal inverse Gaussian.

研究の動機と目的

• 弱い滑らかさの仮定の下で、正規混合分布（任意の共分散行列を含む）を含む指数型分布族混合分布へスティーンの補題を一般化すること。
• 勾配推定におけるスティーンの補題と再パラメータ化トリックの正式な関係を確立すること。
• 多変量t分布、スケュー正規分布、正規逆ガウス分布などの複雑な分布に対する新たな勾配恒等式を導出すること。
• 従来の研究より弱い仮定のもとで、暗黙の再パラメータ化の理論的基盤を提供すること。
• ガウス型分散-平均混合近似を用いた、より強固で柔軟な変分ベイズ推論を可能にすること。

提案手法

• スティーンの補題を正規分布を超える分布へ一般化するために、局所的絶対連続（locally AC）関数を滑らかさの条件として導入する。
• 局所的絶対連続関数に対して部分積分と微積分の基本定理を用いて、1階の恒等式を導出する。
• 特に任意の共分散構造を持つガウス混合分布を含む、指数型分布族の階層的混合分布にその恒等式を適用する。
• スティーンの補題を用いて期待値の勾配とスコア関数の間の関係を確立し、暗黙の再パラメータ化を可能にする。
• その恒等式を用いて、スチューデントのt分布やスケュー正規分布などの非正規分布における期待値の閉形式勾配表現を導出する。
• 理論的導出と具体例を通じてフレームワークの妥当性を検証し、変分ベイズ推論への適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 弱い滑らかさの仮定のもとで、任意の共分散行列を有するガウス混合分布を含む指数型分布族混合分布へスティーンの補題を一般化できるか？
• RQ2 スティーンの補題を再パラメータ化トリックとどのように結びつけることで、複雑な分布に対する勾配推定を可能にするか？
• RQ3 この一般化された枠組みを用いて、非正規的で、重い尾または非対称な分布に対して、新たな勾配恒等式を導出できるか？
• RQ4 このアプローチを用いることで、Salimans & Knowles (2013) や Figurnov et al. (2018) よりも弱い仮定のもとで、暗黙の再パラメータ化トリックを正当化できるか？
• RQ5 このフレームワークは、ガウス型分散-平均混合近似を用いた変分ベイズ推論にどのような意味を持つのか？

主な発見

• 本稿は、弱い滑らかさの仮定のもとで、任意の共分散行列を有するガウス混合分布を含む指数型分布族混合分布へスティーンの補題を成功裏に一般化した。
• スティーンの補題と再パラメータ化トリックの間の直接的な理論的関係を確立し、広範な関数クラスにおける勾配推定を可能にした。
• 多変量t分布、スケュー正規分布、指数的に修正された正規分布、正規逆ガウス分布に対して、新たな勾配恒等式を導出した。
• 従来の研究（例：Salimans & Knowles, 2013; Figurnov et al., 2018）よりも弱い仮定のもとで、暗黙の再パラメータ化を可能にするフレームワークを提供した。
• 導出された恒等式が、Lin et al. (2019) で示されたガウス型分散-平均混合近似を用いた変分ベイズ推論において有用であることが示された。
• 本手法は、多様な指数型分布族混合分布にわたる勾配推定に対して、統一的かつ理論的根拠を備えたアプローチを提供する。