[論文レビュー] Highway Networks

Rupesh K. Srivastava, Klaus Greff+1 more|arXiv (Cornell University)|May 3, 2015

Advanced Neural Network Applications参考文献 10被引用数 301

ひとこと要約

Highway Networksは、学習可能なゲーティングユニットを用いることで、数百層に達するネットワークの直接学習を可能にする、新しい深層ニューラルネットワークアーキテクチャを導入する。『ハイウェイ』を通じて情報が遮断されないようすることで、勾配の流れが安定化され、さまざまな活性化関数を用いた非常に深いアーキテクチャにおいて、確率的勾配降下法を効果的に使用できるようになる。

ABSTRACT

There is plenty of theoretical and empirical evidence that depth of neural networks is a crucial ingredient for their success. However, network training becomes more difficult with increasing depth and training of very deep networks remains an open problem. In this extended abstract, we introduce a new architecture designed to ease gradient-based training of very deep networks. We refer to networks with this architecture as highway networks, since they allow unimpeded information flow across several layers on information highways. The architecture is characterized by the use of gating units which learn to regulate the flow of information through a network. Highway networks with hundreds of layers can be trained directly using stochastic gradient descent and with a variety of activation functions, opening up the possibility of studying extremely deep and efficient architectures.

研究の動機と目的

• 非常に深いニューラルネットワークの学習の課題に対処すること。深さが増すにつれて、その難易度が高くなる。
• 深層ネットワークにおける勾配の流れを改善し、安定的かつ効率的な学習を可能にすること。
• 勾配の消失や爆発を防ぎ、数百層にまでスケーラブルなアーキテクチャを設計すること。
• 非常に深い構造において、さまざまな活性化関数を用いた学習を可能にすること。

提案手法

• 各層が情報の流れを制御するゲーティング機構を用いる新しいネットワークアーキテクチャを導入する。
• 学習可能なゲートを用いて、入力を直接通過させるか、非線形変換を経て通過させるかを動的に決定する。
• ハイウェイ層を、変換された入力とゲート付きの残差パスの組み合わせとして定義する：H(x) = G(x) * T(x) + (1 - G(x)) * x、ここでGはゲート、Tは変換を表す。
• ゲートと変換を同時に最適化することで、全ネットワークを確率的勾配降下法で学習する。
• 複数のスタックされた層にハイウェイアーキテクチャを適用し、非常に深いネットワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 標準的な最適化手法を用いて、数百層に達する非常に深いニューラルネットワークを効果的に学習できるか？
• RQ2 学習可能なゲートの使用が、深層アーキテクチャにおける勾配の流れをどのように改善するか？
• RQ3 ハイウェイアーキテクチャは、さまざまな活性化関数を用いた深い構造でも性能を維持できるか？
• RQ4 極めて深い深さにおいて、ハイウェイネットワークは一般化性能を発揮し、学習の安定性を保てるか？

主な発見

• Highway Networksは、確率的勾配降下法を用いて、最大100層の非常に深いアーキテクチャを成功裏に学習した。
• このアーキテクチャは、ReLU や tanh などのさまざまな活性化関数に対しても安定した学習を可能にした。
• 学習可能なゲートの使用により、勾配の流れが著しく改善され、勾配消失の問題が軽減された。
• 極めて深い構造であるにもかかわらず、ベンチマークタスクにおいて競争力のある性能を達成した。