[論文レビュー] Stochastic Neural Networks with Monotonic Activation Functions

Siamak Ravanbakhsh, Barnabás Póczos+3 more|arXiv (Cornell University)|Jan 1, 2016

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 7

ひとこと要約

本稿では、正規ノイズを用いたラプラス近似を適用することで、任意の滑らかで単調増加な活性化関数（例：ReLU、Tanh、Sinh）を備えた確率的ユニットを用いる生成モデルである指数型RBMs（Exp-RBMs）を提案する。この手法により、対照的分散を用いた効率的な学習が可能となり、従来の指数型ユニットよりも優れた生成表現が得られることを示している。

ABSTRACT

We propose a Laplace approximation that creates a stochastic unit from any smooth monotonic activation function, using only Gaussian noise. This paper investigates the application of this stochastic approximation in training a family of Restricted Boltzmann Machines (RBM) that are closely linked to Bregman divergences. This family, that we call exponential family RBM (Exp-RBM), is a subset of the exponential family Harmoniums that expresses family members through a choice of smooth monotonic non-linearity for each neuron. Using contrastive divergence along with our Gaussian approximation, we show that Exp-RBM can learn useful representations using novel stochastic units.

研究の動機と目的

• 従来の指数型ユニットにとどまらない、任意の滑らかで単調増加な活性化関数を可能にする制限付きボルツマンマシン（RBMs）の拡張を目的とする。
• 指数型ハーモニウム（EFH）における非標準的活性化関数の一般的なサンプリング手順の欠如を解決することを目的とする。
• ラプラス近似と正規ノイズを用いた、原理的かつ効率的な確率的ユニットのサンプリング手法の開発を目的とする。
• Novelな活性化関数を備えたExp-RBMsが、強力な生成表現を学習できることを示すこと。
• Exp-RBMsの生成学習とノイズ注入を伴う判別学習との間の関係を確立すること。

提案手法

• 任意の滑らかで単調増加な活性化関数を、正規ノイズのみを用いたラプラス近似によって確率的ユニットに変換する手法を提案する。
• 恒等十分統計量を有する指数型ハーモニウム（EFH）のサブセットとしてExp-RBMsを定義し、活性化関数を平均パラメータそのままで直接利用可能にする。
• 数値的安定性を確保するため、10ステップのギブスサンプリングを用いた対照的分散による学習を採用する。
• サンプリングにはrates-FPCDを、テストデータ上のモデル性能評価には間接的サンプリング尤度（ISL）を用いる。
• パラメータβを用いた非パラメトリック密度推定を用いて尤度を推定し、モデルの品質を評価する。
• 確率的ユニットを、バイアスが異なるベルヌーイユニットの無限混合として解釈することで、生成学習と判別学習の理論的接続を提供する。

実験結果

リサーチクエスチョン

• RQ1 非標準的単調増加活性化関数を備えたRBMsに対して、一般化されたサンプリング手順を開発できるか？
• RQ2 ReQUやSinhなどの新規活性化関数を用いたExp-RBMsの性能は、ベルヌーイまたはガウスユニットを備えた標準的なRBMsと比べてどうか？
• RQ3 正規ノイズを用いたラプラス近似は、Exp-RBMsの効率的な学習をどの程度可能にするか？
• RQ4 Exp-RBMsの生成学習とノイズ注入を伴う判別学習との間に、関係があるか？
• RQ5 非指数型ユニットの活性化関数を用いた場合、Exp-RBMsは従来のRBMsよりも優れたデータ表現を学習できるか？

主な発見

• USPSデータセットにおいて、ReQU活性化関数を用いたExp-RBMsが、Tanh、ReLU、Sinhユニットを上回る最高の間接的サンプリング尤度（ISL）を達成した。
• ギブスステップを25に増やし、学習エポック数を2倍にした後でさえ、ReQUベースのモデルは優れた生成サンプルを生成したが、Tanhユニットは性能を追いつかなかった。
• すべてのモデルが時間経過とともに向上し、対数尤度が上昇し、β*が訓練データセットの最適値0.93に近づいた。これは、より良いデータ表現が得られていることを示している。
• 本手法はReLUおよびシグモイド/Tanhユニットにおいて数値的安定性を示したが、この設定ではReQUが最も強力な表現能力を示した。
• 正規ノイズを用いたラプラス近似により、多様な活性化関数において効率的なサンプリングと学習が可能となり、その実用性が裏付けられた。
• 確率的ユニットをバイアスが異なるベルヌーイユニットの無限混合として解釈することで、生成学習と判別学習の間の理論的リンクが提供された。