[論文レビュー] Sliced Score Matching: A Scalable Approach to Density and Score Estimation

Yang Song, Sahaj Garg+2 more|arXiv (Cornell University)|May 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 67

ひとこと要約

スライスドスコアマッチング（SSM）を導入する。高次元のスコアをランダムな方向へ射影することで高価なヘシアン計算を回避し、深い未正規化モデルと高次元データを実現する、スケーラブルなスコアマッチングの変種。

ABSTRACT

Score matching is a popular method for estimating unnormalized statistical models. However, it has been so far limited to simple, shallow models or low-dimensional data, due to the difficulty of computing the Hessian of log-density functions. We show this difficulty can be mitigated by projecting the scores onto random vectors before comparing them. This objective, called sliced score matching, only involves Hessian-vector products, which can be easily implemented using reverse-mode automatic differentiation. Therefore, sliced score matching is amenable to more complex models and higher dimensional data compared to score matching. Theoretically, we prove the consistency and asymptotic normality of sliced score matching estimators. Moreover, we demonstrate that sliced score matching can be used to learn deep score estimators for implicit distributions. In our experiments, we show sliced score matching can learn deep energy-based models effectively, and can produce accurate score estimates for applications such as variational inference with implicit distributions and training Wasserstein Auto-Encoders.

研究の動機と目的

• 正規化されていないモデルに対するスコアマッチングにおけるヘシアンのトレース計算の難しさを動機づけ、対処する。
• 高次元でのスケーラブルな密度推定とスコア推定を可能にするため、スライスドスコアマッチングを提案する。
• SSM推定量の一様性と漸近正規性の理論的保証を確立する。
• SSMを用いた深いエネルギーベースモデルの学習や、暗黙分布のスコア推定への適用性を示す。
• 関連手法や実用的変種（例：分散削減）との関連性を探る。

提案手法

• スライスドスコアマッチングの目的関数を、スコアをランダムな方向へ射影し、それらの射影に沿って一致させることで定義する。
• スライス化された目的関数と、ヘシアンベクター積を含む可処理な形態との同値性（定数を除く）を示し、計算の効率化を可能にする。
• 各データ点につきM個の射影ベクトルを用いて、スライス化された目的関数の無偏推定量を提供し、分散削減変種（SSM-VR）を導入する。
• ハッチンソンのトリックの直感を用いて手法をトレース推定へ結びつけ、分散を低減する。
• データ生成過程のスコア推定へアプローチを拡張し、スコアモデル h(x;θ) を訓練してスライス化された目的関数を最小化する。
• 現代の自動微分フレームワーク（例：TensorFlow、PyTorch）での実装上の利点について議論する。

実験結果

リサーチクエスチョン

• RQ1 SSMは高次元での正規化されていないモデルに対して、一貫性があり漸近的に正規なパラメータ推定量を提供できるか？
• RQ2 SSMは深層モデルおよび高次元データに対してスケーラブルであり、既存のスコアマッチング変種と比較して推定精度を維持できるか？
• RQ3 SSMを暗黙分布のスコア推定に適用できるか、暗黙エンコーダを持つVAEやWAEなどの応用を支援するか？
• RQ4 SSMは他のスケーラブルなスコア推定手法（例：NCE、Hutchinsonのトリック、カーネルベース推定量）とどのように関連し、どのように異なるか？

主な発見

• SSMは標準的な正則性条件の下で、一貫性と漸近的に正規な推定量をもたらす。
• 射影ベクトルの数Mを少なく（多くはM=1）、分散と計算コストの間で有利なトレードオフを提供する。
• SSM-VRは分散を低減することで経験的性能を向上させ、基礎となるスケーラブルなスコアマッチング変種を上回ることがある。
• SSMはヘシアンベクター積を介して計算可能な形で、完全なヘシアンのトレースの代わりに、深いエネルギーベースモデルの訓練を可能にする。
• SSMは、潜在分布を含む分散推論のための正確なスコア推定を得るのに使用でき、Wasserstein Auto-Encoderの訓練にも寄与する。
• 深層カーネル指数族およびNICEフローモデルを用いた密度推定の実験では、SSMは競争力があり、既存のスコアマッチング手法よりしばしばスケーラブルである。