[論文レビュー] Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations

Behnam Neyshabur, Yuhuai Wu+2 more|arXiv (Cornell University)|May 23, 2016

Topic Modeling参考文献 12被引用数 16

ひとこと要約

本稿では、重み共有構造を有する再帰的ニューラルネットワーク（RNN）アーキテクチャに、前向き伝搬ネットワークからのパス正規化を適応させることで、幾何学的感度を持つ最適化手法Path-SGDを提案する。実験により、Path-SGDは長時間系列タスクにおける学習安定性と性能を顕著に向上させ、標準的なSGDやLSTMが失敗する750長さの加算シーケンスで0%の誤差を達成するとともに、言語モデル化ベンチマークにおいて、通常のRNNとLSTMの性能差を50%以上縮小した。

ABSTRACT

We investigate the parameter-space geometry of recurrent neural networks (RNNs), and develop an adaptation of path-SGD optimization method, attuned to this geometry, that can learn plain RNNs with ReLU activations. On several datasets that require capturing long-term dependency structure, we show that path-SGD can significantly improve trainability of ReLU RNNs compared to RNNs trained with SGD, even with various recently suggested initialization schemes.

研究の動機と目的

• 勾配消失または爆発のため、ReLU活性化関数を用いた通常のRNNの学習困難性を解消すること。
• 重み共有を持つネットワークとしてのRNNのパラメータ空間の幾何構造を理解すること。
• この幾何構造に適合した最適化手法を開発し、収束性と一般化性能を向上させること。
• より複雑なアーキテクチャ（例：LSTM）に比べ、最適化の質の向上が長期依存性タスクで優れた性能を達成できることを示すこと。
• リソース制限のある環境（例：モバイルプラットフォーム）において、単純で低複雑性のRNNの実用的導入を可能にすること。

提案手法

• 有向無閉路グラフ（G）と重み共有マッピング（π）を用いて、RNNを重み共有を持つ前向き伝搬ネットワークとして形式化する。
• 前向き伝搬ネットワークにおけるパスノルムをRNNに適応させ、重み共有とスケール不変性を尊重する幾何構造を定義する。
• パスノルムにおける勾配降下としてのPath-SGDを導出する。パラメータはパスノルム正則化損失に対する勾配降下により更新される。
• パスノルムを用いて勾配を正規化し、重みスケールへの感受性を低減し、最適化ダイナミクスを安定化させる。
• 大規模言語モデルタスクにおける高速収束を実現するため、Path-SGDをAdam最適化手法と組み合わせる。
• 合成タスク（加算問題）と実世界ベンチマーク（PTB、text8）に対して、標準的なSGDおよびLSTMとの対比を含むアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 重み共有のため、RNNのパラメータ空間の幾何構造は、標準的な前向き伝搬ネットワークとどのように異なるか？
• RQ2 前向き伝搬ネットワークで有効であったパス正規化は、重み共有を持つRNNに対しても拡張可能であり、最適化を改善できるか？
• RQ3 標準的なSGDおよび初期化手法と比較して、Path-SGDは長時間系列タスクにおけるReLU RNNの学習安定性と性能を向上させるか？
• RQ4 Path-SGDは、通常のRNNとLSTMのようなより複雑なモデルとの性能差をどの程度縮小できるか？
• RQ5 Path-SGDにより、単純なRNNが長期依存性および言語モデル化タスクでLSTMを上回るか、同等の性能を達成できるか？

主な発見

• Path-SGDは750長さの加算問題において、他のすべての手法（LSTMを含む）が失敗する中、テスト誤差0%を達成した。
• PTB言語モデル化データセットにおいて、RNN-Pathは1.47 BPCを達成し、ReLU RNN（1.55 BPC）を上回り、LSTM（1.41 BPC）との差を57%縮小した。
• text8データセットにおいて、RNN-Pathは1.58 BPCを達成し、ReLU RNN（1.65 BPC）を上回り、LSTM（1.52 BPC）との差を54%縮小した。
• アイデンティティ初期化でさえも、Path-SGDにより単純なRNNが750長さの加算タスクを解けるようになり、初期化への感受性の低さを示した。
• 順序付きMNISTにおいて一般化性能が向上し、最先端のRNN変種と同等の誤差率を達成した。
• 重みスケールへの感受性が低く、最適化ダイナミクスが改善されたことから、RNNの内在的幾何構造とより整合していることが示唆された。