[論文レビュー] Critical initialisation in continuous approximations of binary neural networks

Grigore Stâmâtescu, Federica Gerace+3 more|arXiv (Cornell University)|Feb 1, 2019

Neural Networks and Applications参考文献 13被引用数 4

ひとこと要約

本論文は、二値ニューラルネットワークの連続的サーロゲートの導出を、マーキョフ連鎖に基づいて新たに提案し、重みの平均が±1付近に初期化される臨界初期化が、深層ネットワークの学習に不可欠であることを明らかにした。直感に反し、標準的な初期化手法は失敗する。代わりに、重みの平均を±1に初期化することで、決定論的および確率的サーロゲートの両方において、勾配消失／爆発を回避する安定な信号伝播が可能になる。

ABSTRACT

The training of stochastic neural network models with binary ($\pm1$) weights and activations via continuous surrogate networks is investigated. We derive new surrogates using a novel derivation based on writing the stochastic neural network as a Markov chain. This derivation also encompasses existing variants of the surrogates presented in the literature. Following this, we theoretically study the surrogates at initialisation. We derive, using mean field theory, a set of scalar equations describing how input signals propagate through the randomly initialised networks. The equations reveal whether so-called critical initialisations exist for each surrogate network, where the network can be trained to arbitrary depth. Moreover, we predict theoretically and confirm numerically, that common weight initialisation schemes used in standard continuous networks, when applied to the mean values of the stochastic binary weights, yield poor training performance. This study shows that, contrary to common intuition, the means of the stochastic binary weights should be initialised close to $\pm 1$, for deeper networks to be trainable.

研究の動機と目的

• 連続的サーロゲートのための原則的初期化戦略の欠如に取り組む。
• 確率的二値ネットワークのマーキョフ連鎖表現を用いて、決定論的および確率的サーロゲートの統一的なフレームワークを導出する。
• 平均場理論と自己平均化の議論を用いて、初期化時の信号伝播を分析する。
• 異なるサーロゲートタイプに対して臨界的初期化が存在するかを特定し、最適な初期化戦略を同定する。
• 二値ネットワークにおける勾配逆伝播と初期化に関する先行研究における矛盾を解消する。

提案手法

• 確率的二値ニューラルネットワークのマーキョフ連鎖定式化を用いて、重みとニューロンの両方の確率的性質を統一的に扱える連続的サーロゲートを導出する。
• ガウス中心極限定理を適用して、各層におけるニューロン活性化の分布を近似し、離散的二値演算の連続的近似を可能にする。
• 平均場理論と自己平均化の議論を用いて、確率的に初期化されたネットワークを通過する信号分散と相関の伝播を記述するスカラー方程式を導出する。
• 信号分散が層を跨いで安定しているかどうかを評価することで臨界性を分析し、任意の深さにわたり相関を維持する初期化条件を同定する。
• 2種類のサーロゲートタイプを比較する：決定論的（解析的積分による）および確率的（局所再パラメータ化トリックによる）、両者の臨界的初期化特性を評価する。
• MNIST分類実験を用いて理論的予測を数値的に検証し、ネットワークの深さ、モンテカルロサンプル数、初期化戦略の変動を考慮する。

実験結果

リサーチクエスチョン

• RQ1 マーキョフ連鎖表現を用いて、二値ニューラルネットワークの決定論的および確率的サーロゲートの統一的導出フレームワークを構築可能か？
• RQ2 二値ニューラルネットワークの決定論的および確率的サーロゲートに対して、臨界的初期化が存在するか。存在する場合、その条件は何か？
• RQ3 確率的二値ニューロンの重み平均値の初期化戦略が、深層ネットワークにおける信号伝播および学習性能にどのように影響するか？
• RQ4 連続ネットワークで一般的に用いられる標準的初期化手法が、サーロゲート学習における二値重みの平均値に適用された場合、なぜ失敗するのか？
• RQ5 確率的サーロゲートにおけるモンテカルロサンプル数の増加が、対応する二値ネットワークの学習性能に与える影響は何か？

主な発見

• マーキョフ連鎖定式化により、決定論的および確率的サーロゲートの統一的導出が可能となり、特に局所再パラメータ化トリックを確率的二値ニューロンに初めて拡張した。
• 重みとニューロンの両方が確率的二値であるネットワークでは、臨界的初期化を達成できるのは決定論的サーロゲートに限る。確率的サーロゲート（LRT）は達成できない。
• 重みが確率的二値、ニューロンが連続のネットワークでは、LRTサーロゲートが臨界的初期化を達成可能であるが、この場合、決定論的サーロゲートは存在しない。
• 両方のサーロゲートタイプにおける臨界的初期化は、重みの平均を±1に設定することで達成され、これは標準的な初期化ヒューリスティクスとは逆説的である。
• 数値実験により、重みの平均を±1に初期化すると、特に深層ネットワークにおいて顕著に優れた学習性能が得られ、標準的初期化手法は失敗することが確認された。
• 確率的二値ネットワークの性能は、モンテカルロサンプル数の増加に伴い向上し、連続的サーロゲートに近づき、学習が進むにつれてサーロゲートの挙動に収束する。