[論文レビュー] Benchmarking of LSTM Networks

Thomas M. Breuel|arXiv (Cornell University)|Aug 11, 2015

Topic Modeling参考文献 4被引用数 40

ひとこと要約

この論文は、MNISTおよびUW3データセット上でLSTMネットワークのベンチマークを実施し、学習率、バッチサイズ、モーメンタム、非線形関数、ピーチョール接続、トレーニング手法などのハイパーパrameterを評価している。標準LSTMで出力にソフトマックスを使用し、ピーチョール接続を排除した構成が最も優れた性能を示し、CTCを用いた双方向トレーニングが最も高い正確性を達成した。バッチサイズおよびモーメンタムには顕著な影響がなく、並列トレーニングを効率的に行えることが示された。

ABSTRACT

LSTM (Long Short-Term Memory) recurrent neural networks have been highly successful in a number of application areas. This technical report describes the use of the MNIST and UW3 databases for benchmarking LSTM networks and explores the effect of different architectural and hyperparameter choices on performance. Significant findings include: (1) LSTM performance depends smoothly on learning rates, (2) batching and momentum has no significant effect on performance, (3) softmax training outperforms least square training, (4) peephole units are not useful, (5) the standard non-linearities (tanh and sigmoid) perform best, (6) bidirectional training combined with CTC performs better than other methods.

研究の動機と目的

• シーケンス分類タスクにおけるLSTM性能に与える主なハイパーパrameterおよびアーキテクチャ的選択の影響を評価すること。
• バッチ正規化、モーメンタム、ピーチョール接続、または代替非線形関数が、LSTMの正確性を向上させるかどうかを特定すること。
• OCRタスクにおける一方向対双方向トレーニング、およびCTC対標準出力層トレーニングの比較を行うこと。
• さまざまな設定下でのLSTMトレーニングの再現性および安定性を調査すること。

提案手法

• 学習率（10⁻⁶〜10⁻¹）、隠れユニット数（50〜500）、バッチサイズ（20〜2000）、モーメンタム（0〜0.99）の範囲で体系的なハイパーパramータース윕を実施し、MNISTおよびUW3で合計660種類のLSTMバリアントをトレーニングした。
• 画像入力を（MNISTは28×28、UW3はサイズ正規化済み）垂直スライスに変換して、シーケンスモデリングに適した形式に変換した。
• 標準LSTM、LINLSTM、NPLSTM、RELU2LSTM、RELULSTM、RELUTANHLSTMなど、さまざまなLSTMバリアントを比較した。非線形関数にはtanh、シグモイド、ReLUを用いた。
• トレーニングには、平均二乗誤差（MSE）およびソフトマックス出力層を評価し、シーケンス・ツー・シーケンス学習には接続主義的時系列分類（CTC）を適用した。
• シーケンスラベル付けタスクにおける性能比較のため、CTCおよび非CTCトレーニングを用いた双方向LSTMを評価した。
• トレーニング誤差およびテスト誤差の時間的推移をモニタリングし、性能の最終的発散を検出することを目的とした。

実験結果

リサーチクエスチョン

• RQ1 学習率は、異なるネットワークサイズおよびデータセットにおいてLSTM性能にどのように影響するか？
• RQ2 バッチサイズおよびモーメンタムは、LSTMトレーニングの安定性および最終誤差率にどのような影響を及えるか？
• RQ3 ピーチョール接続や代替非線形関数（例：ReLU）は、標準のtanh/sigmoidユニットと比較してLSTM性能を向上させるか？
• RQ4 OCRタスクにおいて、ソフトマックス出力とMSE出力のトレーニングは、性能面でどのように異なるか？
• RQ5 シーケンス分類タスクにおいて、CTCを用いた双方向トレーニングは、一方向トレーニングや標準出力層トレーニングを上回るか？

主な発見

• LSTM性能は学習率に対して滑らかに依存しており、最適な性能は10⁻²〜10⁻¹の範囲で達成された。MNISTにおける最良のテスト誤差率は0.73%であった。
• バッチサイズおよびモーメンタムは誤差率に顕著な影響を及ぼさず、バッチ処理を並列トレーニングに安全に使用しても性能に損失がないことを示している。
• ピーチョール接続は性能向上に寄与せず、テストしたあらゆる設定で標準LSTMを上回ることはなかった。
• 交差エントロピー損失を用いたソフトマックス出力は、MSEトレーニングを上回り、特にOCRタスクにおいて顕著に低い誤差率を達成した。
• 双方向LSTMにCTCを組み合わせた構成が、MNISTおよびUW3の両方で最も優れた性能を示し、一方向および非CTC手法を上回った。
• すべてのトレーニング済みLSTMネットワークが、約100万ステップ後、ゆっくりとテスト誤差が発散する傾向を示した。これは、構造的学習とパラメータ学習の競合するプロセスが存在することを示唆している。