[論文レビュー] Annealing Gaussian into ReLU: a New Sampling Strategy for Leaky-ReLU RBM

Chunliang Li, Siamak Ravanbakhsh+1 more|arXiv (Cornell University)|Nov 11, 2016

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 5

ひとこと要約

本稿では、ギブスサンプリング中に漏れの度合いを段階的に増加させる（アニューリングする）ことで、漏れのあるReLU制限ボルツマンマシン（RBM）のための新しいサンプリング戦略を提案する。初期段階では完全にガウス分布（非漏れ）の状態から始め、徐々に非線形性を高めていく。この手法により、対照的勾配（CD）よりも優れた混合速度とより正確で効率的な尤度推定が可能となり、パーティション関数推定において標準的なアニューリング重要度サンプリング（AIS）を上回る。

ABSTRACT

Restricted Boltzmann Machine (RBM) is a bipartite graphical model that is used as the building block in energy-based deep generative models. Due to numerical stability and quantifiability of the likelihood, RBM is commonly used with Bernoulli units. Here, we consider an alternative member of exponential family RBM with leaky rectified linear units -- called leaky RBM. We first study the joint and marginal distributions of leaky RBM under different leakiness, which provides us important insights by connecting the leaky RBM model and truncated Gaussian distributions. The connection leads us to a simple yet efficient method for sampling from this model, where the basic idea is to anneal the leakiness rather than the energy; -- i.e., start from a fully Gaussian/Linear unit and gradually decrease the leakiness over iterations. This serves as an alternative to the annealing of the temperature parameter and enables numerical estimation of the likelihood that are more efficient and more accurate than the commonly used annealed importance sampling (AIS). We further demonstrate that the proposed sampling algorithm enjoys faster mixing property than contrastive divergence algorithm, which benefits the training without any additional computational cost.

研究の動機と目的

• 非単調性のため指数型分布族に属さないReLU RBMにおける、効率的かつ正確なサンプリングと尤度推定の欠如に対処すること。
• 漏れのあるRBMの学習において、モデル発散を引き起こす可能性のある根本的な正定値制約を特定・解消すること。
• 漏れのあるRBMの混合速度と学習効率を向上させる新しいサンプリングアルゴリズムを開発すること。
• 漏れのあるReLUユニットが、モデルの対数尤度という観点から、ベルヌーイユニットを上回ることを実証すること。

提案手法

• 本手法は、ギブスサンプリングの反復処理中に、漏れの度合いパラメータを0（完全にガウス的）から目的の値へ段階的に増加させるメタサンプリングアルゴリズムを導入する。
• 漏れのあるRBMと切断ガウス分布との関係を活用することで、結合分布および周辺分布からの効率的サンプリングが可能になる。
• 線形／ガウス的ユニットから始まり、段階的に漏れのあるReLUユニットへと変化する一連のユニットを用いることで、ギブスサンプリング中の混合速度と収束性が向上する。
• 非線形性が徐々に増加するモデルの経路を用いることで、直接的な計算が困難なパーティション関数の計算を回避する。
• 対照的勾配と統合する際、初期の可視状態をデータサンプルに置き換えつつ、漏れの度合いをアニューリングすることで、計算効率を維持する。
• 従来のアニューリング重要度サンプリング（AIS）よりも、パーティション関数の数値推定において高い精度と低い分散を達成できる。

実験結果

リサーチクエスチョン

• RQ1 漏れのあるReLU RBMに対して、混合速度と尤度推定を向上させるサンプリング戦略をどのように設計できるか？
• RQ2 漏れのあるRBMの根本的な分布的性質は何か？ そして、切断ガウス分布とどのように関係しているか？
• RQ3 漏れのあるRBMの安定した学習を保証するために満たすべきモデルパラメータの制約は何か？
• RQ4 サンプリング中に漏れの度合いをアニューリングすることで、標準的な対照的勾配やアニューリング重要度サンプリングを上回る学習および尤度推定が可能か？
• RQ5 漏れのあるReLUユニットを用いることで、対数尤度という観点から、ベルヌーイユニットを上回る生成性能が得られるか？

主な発見

• 提案されたアニューリングに基づくサンプリング手法は、追加の計算コストなしに、標準的な対照的勾配よりも高速な混合速度を達成し、学習効率が向上する。
• 複数のベンチマークデータセットにおいて、従来のアニューリング重要度サンプリング（AIS）よりも、パーティション関数推定において高い精度と低い分散を達成する。
• 漏れのあるReLU RBMは、ベルヌーイ・ガウスRBMよりも顕著に優れた対数尤度性能を示し、最適な学習率を用いた場合、SVHNおよびCIFAR10で最大約300 natsの向上を達成する。
• 本研究では、漏れのあるRBMの学習においてこれまでに無視されていた正定値制約を同定し、その制約を満たさない場合、モデル発散が生じる可能性があることを明らかにした。
• 漏れのあるRBMと切断ガウス分布との関係が、提案されたサンプリング戦略に理論的根拠を与える。
• データベースの初期化と漏れの度合いのアニューリングを組み合わせたハイブリッドアルゴリズムは、完全なアニューリング法に近い性能を達成しながらも、標準的なCDと同等の計算効率を維持する。