[論文レビュー] Cells in Multidimensional Recurrent Neural Networks

Gundram Leifert, Tobias Strauß+2 more|arXiv (Cornell University)|Dec 8, 2014

Neural Networks and Applications参考文献 6被引用数 7

ひとこと要約

本稿では、LSTMアーキテクチャに基づいて導出された新しい多次元再帰ニューラルネットワーク（MDRNN）セルを提案し、多次元における安定性と長期依存性学習を向上させる。線形シフト不変系理論を活用することで、著者らは5種類の新規セルタイプを設計し、その中でLeakyLPセルがIFN/ENITおよびRIMESデータセットにおいて、標準LSTMセルを上回る優れた手書き認識性能を達成した。

ABSTRACT

The transcription of handwritten text on images is one task in machine learning and one solution to solve it is using multi-dimensional recurrent neural networks (MDRNN) with connectionist temporal classification (CTC). The RNNs can contain special units, the long short-term memory (LSTM) cells. They are able to learn long term dependencies but they get unstable when the dimension is chosen greater than one. We defined some useful and necessary properties for the one-dimensional LSTM cell and extend them in the multi-dimensional case. Thereby we introduce several new cells with better stability. We present a method to design cells using the theory of linear shift invariant systems. The new cells are compared to the LSTM cell on the IFN/ENIT and Rimes database, where we can improve the recognition rate compared to the LSTM cell. So each application where the LSTM cells in MDRNNs are used could be improved by substituting them by the new developed cells.

研究の動機と目的

• 1次元を超える多次元におけるMDLSTMセルの不安定性および消失勾配問題に対処すること。
• 再帰セルにおける安定的長期依存性学習のための基本的性質を定義すること。
• 勾配爆発を回避しつつ長期記憶を維持できる、多次元における新しいMDRNNセルアーキテクチャの開発。
• 標準LSTMセルに代えてより安定したセルタイプを導入することで、手書き認識タスクにおける認識精度の向上。

提案手法

• 1次元LSTMセルにおける2つの核心的性質（安定的長期依存性と有界な勾配フロー）を定義し、それを多次元ケースに拡張する。
• MDLSTMアーキテクチャを変更し、内部状態の成長と勾配爆発の両立を可能にするために、入力と過去の状態の学習可能な凸結合を導入する。
• 線形シフト不変系理論と周波数領域解析を用いて、MDRNNセル設計の一般枠組みを導出する。
• システム理論的原則に基づき、ゲート機構や状態更新ルールの再構成を通じて、5種類の新規セルタイプ（例：LeakyLP、Type E）を構築する。
• 手書き認識タスクにおけるシーケンスモデリングに、コネクショニスティック時系列分類（CTC）を用いる。
• IFN/ENITおよびRIMESデータセット上で、新規セルを搭載したMDRNNを訓練・評価し、標準LSTMセルとの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 多次元RNNにおける安定的長期依存性を維持するための再帰セルに不可欠な性質は何か？
• RQ2 なぜ標準MDLSTMセルは1次元を超える次元で不安定化するのか？
• RQ3 線形システム理論をどのように活用すれば、より安定的かつ効果的なMDRNNセルを設計できるか？
• RQ4 新規セルアーキテクチャは、標準LSTMセルに比べて手書き認識タスクの認識精度を向上させられるか？
• RQ5 提案されたセルタイプの中で、どのタイプが多次元シーケンスモデリングにおいて最高のパフォーマンスを示すか？

主な発見

• LeakyLPセルは、IFN/ENITおよびRIMESデータセットの両方で最高の認識精度を達成し、標準LSTMセルを上回った。
• IFN/ENITデータセットでは、新規セルがベースラインのLSTMセルよりも誤差率を低減し、一般化性能の向上を示した。
• RIMESデータセットでは、新規セルが標準LSTMセルよりも低い単語誤り率を達成し、一貫した性能向上を確認した。
• 理論的分析により、新規セルが多次元設定において安定した勾配フローを維持し、勾配爆発を回避していることが確認された。
• 周波数応答解析により、新規セルが古典的制御系（例：PI、PD、PID）を模倣可能であり、解釈可能性と安定性を兼ね備えていることが明らかになった。
• 提案手法により、手書き認識に限らず、他のシーケンスモデリングタスクにも適用可能な安定的かつ高性能なMDRNNセルの設計が可能になった。