[論文レビュー] Wasserstein Training of Boltzmann Machines

Grégoire Montavon, Klaus‐Robert Müller+1 more|arXiv (Cornell University)|Jul 7, 2015

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 13

ひとこと要約

この論文は、観測値間の意味のある距離計測を活用して、データ分布とモデル分布の Wasserstein 距離を最小化することにより、Boltzmann モデルにおける Wasserstein 訓練を導入する。この手法により、幾何的構造をよりよく捉えることで、特に分散を低減する代わりにバイアスを増加させることで、標準的な RBM よりもデータ補完およびノイズ除去タスクで優れた生成モデルが得られる。

ABSTRACT

The Boltzmann machine provides a useful framework to learn highly complex, multimodal and multiscale data distributions that occur in the real world. The default method to learn its parameters consists of minimizing the Kullback-Leibler (KL) divergence from training samples to the Boltzmann model. We propose in this work a novel approach for Boltzmann training which assumes that a meaningful metric between observations is given. This metric can be represented by the Wasserstein distance between distributions, for which we derive a gradient with respect to the model parameters. Minimization of this new Wasserstein objective leads to generative models that are better when considering the metric and that have a cluster-like structure. We demonstrate the practical potential of these models for data completion and denoising, for which the metric between observations plays a crucial role.

研究の動機と目的

• データポイント間の意味のある距離を組み込んだ、Boltzmann モデルの新しい訓練目的を開発すること。従来の KL 発散を超える。
• Wasserstein 基盤の訓練が、より構造的でクラスタに類似した表現を持つ生成モデルを生成することを示すこと。
• 距離に基づく再構成誤差が重要なタスクにおける、Wasserstein 訓練済み RBM の性能を評価すること。
• Boltzmann モデルのモデルパラメータに関して、Wasserstein 距離の勾配を実用的かつスケーラブルに計算する手法を提供すること。

提案手法

• この手法は、経験的データ分布とモデル分布の Wasserstein 距離を最小化する。Wasserstein 距離の滑らかで微分可能な近似を用いる。
• Wasserstein 距離の双対表現を用いて、モデルパラメータに関する Wasserstein 目的関数の勾配を導出することで、誤差逆伝播が可能になる。
• Wasserstein 距離およびその微分の高速近似を用いて勾配を計算し、数万件のデータポイントへのスケーラビリティを実現する。
• モデルは自由エネルギー関数 $ F_{\theta}(\boldsymbol{x}) $ を用いて RBM の分布 $ p_{\theta}(\boldsymbol{x}) = \frac{1}{Z_{\theta}} e^{-F_{\theta}(\boldsymbol{x})} $ をパラメータ化し、確率的勾配降下法でパラメータを最適化する。
• Wasserstein 距離がデータポイントの幾何的近接性を考慮するため、再構成が常に最近接のクラスタに向かうように系統立てて行われる。

実験結果

リサーチクエスチョン

• RQ1 データ分布とモデル分布の Wasserstein 距離を最小化することは、従来の KL 発散に基づく訓練よりも、Boltzmann モデルにおいてより優れた生成モデルをもたらすか？
• RQ2 Wasserstein 目的関数は、特にクラスタ形成の観点から、学習されたモデルの構造的性質にどのように影響を与えるか？
• RQ3 距離に基づく再構成誤差が重要なタスクにおいて、Wasserstein 訓練はデータ補完およびノイズ除去の性能を向上させるか？
• RQ4 これらのタスクにおいて、Wasserstein 訓練済み RBM と標準的な RBM との間で、バイアス-分散トレードオフはどのように異なるか？

主な発見

• Wasserstein RBM は、クラスタに類似した構造を持つモデルを学習し、分布外の入力に対する再構成が最近接のクラスタに向かって系統立てて行われ、分散が低減される。
• MNIST および PLANTS データセットにおいて、Wasserstein RBM は標準的な RBM やカーネル密度推定法よりも、補完およびノイズ除去タスクにおける期待ハミング誤差が低くなる。
• 期待ハミング誤差のバイアス成分は Wasserstein RBM で大きくなる傾向にあり、これは代表的な例に向かって系統だった再構成を示している。一方で、分散は顕著に低減されている。
• Wasserstein 距離およびその勾配の高速近似を用いることで、数万件の観測データへのスケーリングに成功している。
• Wasserstein 目的関数は、KL 発散とは根本的に異なる最適化のランドスケープを生み出し、正確なデータポイントの一致にあまり依存せず、幾何的構造により整合性を持つモデルを生成する。