[論文レビュー] A Probabilistic Framework for Nonlinearities in Stochastic Neural Networks

Qinliang Su, Xuejun Liao+1 more|arXiv (Cornell University)|Sep 18, 2017

Gaussian Processes and Bayesian Inference参考文献 22被引用数 12

ひとこと要約

本稿では、二重に切り詰めた正規分布を用いて、ReLU、シグモイド、tanhの非線形性を統一する確率的フレームワークTruGを提案する。これにより、確率的ニューラルネットワークにおけるモデル重みと併せて非線形性のエンドツーエンド学習が可能となり、RBM、時系列RBM、TGGMモデルにおける性能向上が達成される。

ABSTRACT

We present a probabilistic framework for nonlinearities, based on doubly truncated Gaussian distributions. By setting the truncation points appropriately, we are able to generate various types of nonlinearities within a unified framework, including sigmoid, tanh and ReLU, the most commonly used nonlinearities in neural networks. The framework readily integrates into existing stochastic neural networks (with hidden units characterized as random variables), allowing one for the first time to learn the nonlinearities alongside model weights in these networks. Extensive experiments demonstrate the performance improvements brought about by the proposed framework when integrated with the restricted Boltzmann machine (RBM), temporal RBM and the truncated Gaussian graphical model (TGGM).

研究の動機と目的

• 確率的ニューラルネットワークにおける一般的に用いられる非線形性（ReLU、シグモイド、tanh）を、一つの確率的フレームワークで統一すること。
• ネットワーク設計時に固定するのではなく、モデル重みと併せて非線形性自体をエンドツーエンドで学習可能にすること。
• ボルツマンマシンや信念ネットワークを含む確率的ニューラルネットワークの適用範囲を拡大し、データから非線形性パラメータを学習可能にすること。
• 生成的・判別的モデルにおける決定的活性化関数の代替として、統一的かつ柔軟で確率論的根拠を持つ代替手法を提供すること。

提案手法

• 隠れユニットを切り詰めた正規確率変数としてモデル化：$ p(h|z,\bm{\xi}) = \mathcal{N}_{[\xi_1,\xi_2]}(h|z,\sigma^2) $、ここで $ z $ はネット入力、$ \bm{\xi} = (\xi_1, \xi_2) $ は学習可能な切り捨て点である。
• 条件付き期待値 $ \mathbb{E}[h|z,\bm{\xi}] $ を用いて、適切な $ \bm{\xi} $ の設定下でReLU、シグモイド、tanhを近似する決定的活性化関数を導出する。
• TruG-RBM、時系列TruG-RBM、TruG-TGGMの既存の確率的モデルにTruGを統合し、標準的な非線形性の代わりにTruGユニットを導入する。
• モデルの尤度を最大化することで学習を実行し、最適化更新の変更を最小限に抑えつつ、ユニットレベルおよびモデルレベルの非線形性学習を可能にする。
• パラメータ推定のため、10サイクルのVB（変分ベイズ）を実行し、適応的学習率を用いたRMSpropとミニバッチ学習を併用する。
• 固定および学習可能な切り捨て点の両方を評価し、個別（ユニットレベル）および共有（モデルレベル）のパラメータ学習戦略を含む。

実験結果

リサーチクエスチョン

• RQ1 切り詰めた正規分布を用いて、ReLU、シグモイド、tanhといった一般的な非線形性を統一的フレームワークで表現できるか？
• RQ2 RBM や TGGM といった確率的ニューラルネットワークにおいて、非線形性とモデル重みを同時に学習可能か？
• RQ3 非線形性パラメータ（切り捨て点）を学習することで、生成的・判別的モデルにおいて固定非線形性よりも性能が向上するか？
• RQ4 異なる切り捨て点の設定（例：[0,1]、[-1,1]、[0,∞)）が、多様なデータセットにおけるモデル性能にどのように影響するか？
• RQ5 TruGフレームワークは、最小限のアーキテクチャ的・アルゴリズム的変更で、既存の確率的モデルにスムーズに統合可能か？

主な発見

• TruGフレームワークは、切り捨て点 $ \xi_1 $ と $ \xi_2 $ の調整により、ReLU、シグモイド、tanhを二重に切り詰めた正規分布の特殊ケースとして成功裏に統一した。
• 時系列RBMにおけるTruG-RBMでは、学習可能な切り捨て点を用いた場合、歩行で7.3%、走行で5.9%の誤差を達成し、元のTRBM（9.6%および6.8%）およびc-Learn（6.7%および5.5%）を上回った。
• ボストン・ホームズティングデータセットにおけるTruG-TGGMでは、学習可能な切り捨て点（s-Learn）を用いたモデルが3.401 ± 0.375 RMSEを達成し、ReLUベースのMLP（3.228 ± 0.195）および他のTruGバージョンを上回った。
• K8nmデータセットでは、学習可能な切り捨て点（s-Learn）を用いたTruG-TGGMが0.073 ± 0.002 RMSEを達成し、ReLUベースのMLP（0.091 ± 0.002）を顕著に上回った。
• 個別に切り捨て点を学習する（s-Learn）TruG-TGGMは、プロテイン構造データセット（4.206 ± 0.071 vs. 4.209 ± 0.073 RMSE）を含む多数のデータセットで、一般的な学習（c-Learn）を上回った。
• このフレームワークにより、同じモデル構造内で非線形性を容易に入れ替え可能となり、アーキテクチャの変更なしにReLUをシグモイドやtanhに即座に置き換えられるようになった。