[論文レビュー] Understanding the exploding gradient problem

Razvan Pascanu, Tomáš Mikolov+1 more|arXiv (Cornell University)|Nov 21, 2012

Model Reduction and Neural Networks参考文献 16被引用数 405

ひとこと要約

この論文は、解析的・幾何的・力学系の観点から、再帰的ニューラルネットワーク（RNN）の訓練における勾配爆発問題の根本的要因を調査する。勾配ノルムクリッピングを効果的なヒューリスティックとして提唱し、実験的に検証することで、文字予測およびポリフォニック音楽生成タスクにおける最先端のパフォーマンスを達成する上で不可欠であることを示している。

ABSTRACT

Training Recurrent Neural Networks is more troublesome than feedforward ones because of the vanishing and exploding gradient problems detailed in Bengio et al. (1994). In this paper we attempt to understand the fundamental issues underlying the exploding gradient problem by exploring it from an analytical, a geometric and a dynamical system perspective. Our analysis is used to justify the simple yet effective solution of norm clipping the exploded gradient. In the experimental section, the comparison between this heuristic solution and standard SGD provides empirical evidence towards our hypothesis as well as it shows that such a heuristic is required to reach state of the art results on a character prediction task and a polyphonic music prediction one.

研究の動機と目的

• 再帰的ニューラルネットワークにおける勾配爆発問題の根本的要因を、複数の理論的観点から理解すること。
• 解析的・幾何的・力学系の枠組みを用いて、時間遡及バックプロパゲーション中の勾配フローの不安定性を分析すること。
• 勾配ノルムクリッピングが、勾配爆発を緩和する実用的解決策として有効であるかを評価すること。
• 実験的に、ノルムクリッピングが、系列モデルベンチマークにおける最先端のパフォーマンスを達成するために不可欠であることを示すこと。

提案手法

• 勾配計算における条件の特定を目的としたRNNにおける解析的調査により、勾配の指数的増大を引き起こす要因を同定する。
• 重み空間の幾何的分析により、トレーニング中に勾配パスがどのように発散するかを可視化する。
• 力学系モデリングを用いて、勾配フローの長期的挙動を研究し、不安定性の閾値を同定する。
• 勾配ノルムクリッピングをヒューリスティックとして適用し、勾配更新を制約し、トレーニングを安定化させる。
• ベンチマーク系列タスクにおける標準的確率的勾配降下法（SGD）と比較して、ノルムクリッピングを用いたトレーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 RNNにおける勾配が爆発する背後にある数学的および力学的メカニズムは何か？
• RQ2 損失関数の幾何的性質は、勾配爆発にどのように寄与しているか？
• RQ3 勾配ノルムクリッピングは、系列モデルタスクにおけるトレーニングの安定化とパフォーマンス向上にどの程度効果を示すか？
• RQ4 文字および音楽系列予測における最先端の結果を達成するには、勾配ノルムクリッピングが必要か？

主な発見

• 勾配爆発問題は、時間遡及バックプロパゲーション中にヤコビ行列の指数的積み重ねによって生じ、トレーニングの不安定化を引き起こす。
• 幾何的分析により、重み空間における不安定な固定点が、勾配ベクトルの大きさの急激な増大を引き起こすことが明らかになった。
• ノルムクリッピングは、極端な勾配更新を防ぐことでトレーニングを効果的に安定化させ、収束を可能にする。
• 実験的結果から、文字予測およびポリフォニック音楽生成タスクにおける最先端のパフォーマンスを達成するには、ノルムクリッピングが不可欠であることが示された。