[論文レビュー] Oops I Took A Gradient: Scalable Sampling for Discrete Distributions

Will Grathwohl, Kevin Swersky+3 more|arXiv (Cornell University)|Feb 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 8

ひとこと要約

本稿では、非正規化対数密度関数の勾配を用いてメトロポリス・ハスティングス更新における提案分布をガイドする、スケーラブルなMCMCサンプリング手法、Gibbs-With-Gradientsを紹介する。離散分布に対するこの手法は、離散変数の連続的緩和からの勾配情報を活用することで、特にイジングモデル、ポッツモデル、離散データにおける深層エネルギーに基づくモデルといった高次元モデルにおいて、標準的なギブスサンプリングと比較して数個のオーダーも速い混合性能を達成する。変分オートエンコーダーやベースラインのエネルギーに基づくモデルを凌駕する。

ABSTRACT

We propose a general and scalable approximate sampling strategy for probabilistic models with discrete variables. Our approach uses gradients of the likelihood function with respect to its discrete inputs to propose updates in a Metropolis-Hastings sampler. We show empirically that this approach outperforms generic samplers in a number of difficult settings including Ising models, Potts models, restricted Boltzmann machines, and factorial hidden Markov models. We also demonstrate the use of our improved sampler for training deep energy-based models on high dimensional discrete data. This approach outperforms variational auto-encoders and existing energy-based models. Finally, we give bounds showing that our approach is near-optimal in the class of samplers which propose local updates.

研究の動機と目的

• 高次元の離散モデルにおいて、標準的なMCMCサンプラー（例：ギブスサンプリング）が、ほとんどが1セル更新で変化しないという非効率性を解決すること。
• 離散分布の連続的緩和からの勾配情報を活用する一般化可能でスケーラブルなサンプリング戦略を開発すること。
• 従来のMCMCが非現実的であるため、テキストや画像の高次元離散データに対して深層エネルギーに基づくモデル（EBM）の有効な訓練を可能にすること。
• ハードコードされたブロック独立構造を活用するサンプラーですら上回る、勾配情報に基づく提案分布の有効性を示すこと。
• 計算的に効率的で広く適用可能な、局所的で最適に近い離散分布のサンプリングフレームワークを提供すること。

提案手法

• 非正規化対数密度関数の連続的入力に関する勾配を用いて、離散的移動のための尤度比を推定するメトロポリス・ハスティングスサンプラーを提案する。
• 元の連続関数のテイラー展開近似を用いて、隣接する離散状態間の提案確率比を推定する。
• これらの推定された尤度比を用いて、変化の可能性が高い変数に偏る提案分布を構築し、受容率を向上させる。
• 勾配情報に基づく提案分布をギブスサンプラーの枠組みに統合し、更新対象の変数の選択を勾配の大きさに従って行い、より活発な次元を優先する。
• 確率的かつ適応的なインデックスの提案分布を採用し、変数の選択確率をその勾配の大きさに比例させる。これにより無駄な計算を削減する。
• 持続的対照的発散（PCD）法にこの手法を組み込み、離散データにおける深層エネルギーに基づくモデルの訓練を可能にし、非自己回帰的生成と柔軟な条件付けを実現する。

実験結果

リサーチクエスチョン

• RQ1 離散分布の連続的緩和からの勾配情報は、高次元の離散モデルにおけるMCMCサンプリング効率を向上させ得るか？
• RQ2 勾配情報に基づく提案分布は、複雑な離散構造を持つモデルにおいて、標準的なギブスサンプリングや他の汎用的サンプラーを上回る性能を示すか？
• RQ3 この手法により、テキストや画像のような高次元離散データに対する深層エネルギーに基づくモデルの有効な訓練が可能になるか？
• RQ4 提案された手法は、離散データにおける変分オートエンコーダーや既存のエネルギーに基づくモデルと比較して、どのように性能を発揮するか？
• RQ5 提案された手法は、離散分布に対する局所更新MCMCサンプラーの中で近似的に最適な性能を示すか？

主な発見

• 10,000語の語彙を持つ言語モデルからのサンプリングにおいて、Gibbs-With-Gradientsサンプラーは70％以上の受容率を達成し、標準的なギブスサンプリングと比較して少なくとも3,500倍の効率性を示した。
• MNISTデータセットでは、イジングモデルおよびポッツモデルにおいて、汎用的サンプラーと比較して著しく優れた性能を示し、より速い混合速度と良好な収束性を確認した。
• 画像およびテキストデータにおける深層エネルギーに基づくモデルの訓練において、この手法は非自己回帰的生成を可能にし、変分オートエンコーダーやベースラインのエネルギーに基づくモデルを上回った。
• 短縮版ペン・ツリー・バンクデータセットでは、テストセットの対数尤度が-77.16を達成し、均一なベースライン（-184.21）およびカテゴリカルベースライン（-100.05）を上回り、自己回帰的LSTM（-74.0）の性能に近づいた。
• 一部のケースでは、ハードコードされたブロック独立構造を活用するサンプラーをも上回ることから、勾配情報が欠落した構造的知識を補完できることを示した。
• 理論的境界は、局所的更新に限るサンプラーのクラス内で、この手法が近似的に最適であることを裏付け、その効率性を検証した。