[論文レビュー] Solving internal covariate shift in deep learning with linked neurons

Carles Roger Riera Molina, Oriol Pujol|arXiv (Cornell University)|Dec 7, 2017

Advanced Memory and Neural Computing参考文献 8被引用数 3

ひとこと要約

本稿では、重みを共有するニューロンの連結構造——連携ニューロン——を提案する。この構造では、少なくとも1つのメンバーが非ゼロの勾配フローを提供することを制約することで、内部分布シフトを暗黙的に解消し、ドライイングニューロンの問題を解消する。この手法により、バッチ正規化や入力標準化を用いずに深層ネットワークの学習が可能となり、学習時間を最大2倍短縮し、CIFAR-10において最先端のモデルを上回る性能を達成する。

ABSTRACT

This work proposes a novel solution to the problem of internal covariate shift and dying neurons using the concept of linked neurons. We define the neuron linkage in terms of two constraints: first, all neuron activations in the linkage must have the same operating point. That is to say, all of them share input weights. Secondly, a set of neurons is linked if and only if there is at least one member of the linkage that has a non-zero gradient in regard to the input of the activation function. This means that for any input in the activation function, there is at least one member of the linkage that operates in a non-flat and non-zero area. This simple change has profound implications in the network learning dynamics. In this article we explore the consequences of this proposal and show that by using this kind of units, internal covariate shift is implicitly solved. As a result of this, the use of linked neurons allows to train arbitrarily large networks without any architectural or algorithmic trick, effectively removing the need of using re-normalization schemes such as Batch Normalization, which leads to halving the required training time. It also solves the problem of the need for standarized input data. Results show that the units using the linkage not only do effectively solve the aforementioned problems, but are also a competitive alternative with respect to state-of-the-art with very promising results.

研究の動機と目的

• バッチ正規化や入力正規化に依存せずに、深層学習における内部分布シフトとドライイングニューロンの問題を解決すること。
• バックプロパゲーション中に一貫した勾配フローを保証するニューロンレベルのアーキテクチャ的メカニズムを開発すること。
• アーキテクチャ的・アルゴリズム的トリックを用いずに、任意に深い・広いネットワークの学習を可能にすること。
• さまざまな活性化関数とネットワークアーキテクチャにおいて、連携ニューロンの性能を評価すること。
• 連携ニューロンがバッチ正規化に代わって使用可能であり、学習速度と一般化性能を向上させることを示すこと。

提案手法

• すべてのメンバーが同じ入力重みを共有するように、ニューロンをリンクグループにまとめる。これにより、同じ作動点が保証される。
• リンクグループに属する少なくとも1つのニューロンが、活性化関数の入力に関して非ゼロの勾配を持つ場合、そのリンクは活性化される。
• この制約により、任意の入力に対して、少なくとも1つのニューロンが活性化関数の平坦でない、定数でない領域で動作することが保証される。
• 非消滅勾配を各層に維持することで、この手法は内部データ分布の安定化を暗黙的に実現する。
• 任意の活性化関数（ReLU、PReLU、SELUなど）と互換性がある。
• バッチ正規化や入力標準化を必要とせず、計算オーバーヘッドを削減できる。

実験結果

リサーチクエスチョン

• RQ1 入力正規化層を明示的に用いずに、ニューロンレベルのアーキテクチャ制約によって内部分布シフトを暗黙的に解消できるか？
• RQ2 各リンクに少なくとも1つのニューロンが非ゼロ勾配フローを持つように保証することで、ドライイングニューロン問題が回避できるか？
• RQ3 バッチ正規化や入力正規化を用いずに、連携ニューロンは深く・広いネットワークを効果的に学習できるか？
• RQ4 連携ニューロンの収束速度は、バッチ正規化を用いたモデルと比べてどうか？
• RQ5 連携ニューロンは、多様なアーキテクチャと活性化関数において最先端の性能を達成できるか？

主な発見

• AllCNNでは、リンクReLUが最高の精度を達成し、次いでPReLUがそれに続いた。標準ReLUやSELUを上回った。
• ResNet50では、リンクSELUが他のすべてのバリアント（標準SELUやReLUを含む）を上回った。
• ResNet50からバッチ正規化を削除しても、連携ニューロンモデル（LK-ReLUおよびLK-SELU）は高い性能を維持した。
• ReLUを用いた場合、連携ニューロンはバッチ正規化を用いた場合と比べて2.08倍速く学習が進行した。SELUを用いた場合も1.5倍速かった。
• 正規化されていないデータとバッチ正規化を用いずに、この手法により精度を維持または向上させた。
• 連携ニューロンの勾配ダイナミクスはより安定しており、収束が速く、学習率の選択に敏感でなかった。