[論文レビュー] Hessian-free Optimization for Learning Deep Multidimensional Recurrent Neural Networks

Minhyung Cho, Chandra Dhir+1 more|arXiv (Cornell University)|Sep 11, 2015

Neural Networks and Applications参考文献 12被引用数 4

ひとこと要約

本稿では、接続主義的時系列分類（CTC）における非凸性を凸近似によって克服することで、深く多次元再帰的ニューラルネットワーク（MDRNN）のトレーニングにヘシアンフリー（HF）最適化を提案する。この手法により、15層に達するMDRNNの成功したトレーニングが可能となり、オフライン手書き文字認識および音素認識タスクで最先端の性能を達成し、特に深層アーキテクチャにおいてSGDよりも顕著な精度向上を実現する。

ABSTRACT

Multidimensional recurrent neural networks (MDRNNs) have shown a remarkable performance in the area of speech and handwriting recognition. The performance of an MDRNN is improved by further increasing its depth, and the difficulty of learning the deeper network is overcome by using Hessian-free (HF) optimization. Given that connectionist temporal classification (CTC) is utilized as an objective of learning an MDRNN for sequence labeling, the non-convexity of CTC poses a problem when applying HF to the network. As a solution, a convex approximation of CTC is formulated and its relationship with the EM algorithm and the Fisher information matrix is discussed. An MDRNN up to a depth of 15 layers is successfully trained using HF, resulting in an improved performance for sequence labeling.

研究の動機と目的

• 5層を超える深層MDRNNのトレーニングを可能にすること。
• 系列分類における非凸的CTC損失関数へのヘシアンフリー最適化の適用という課題に対処すること。
• HF最適化と互換性があり、EMアルゴリズムおよびフィッシャー情報行列と関連するCTCの凸近似を開発すること。
• HF最適化が深層MDRNNにおける系列認識タスクに有効であることを実証的に検証すること。
• HFでトレーニングされた深層MDRNNが、浅層モデルやSGDベースラインを上回ることを示すこと。

提案手法

• 非凸的CTC目的関数の凸近似を定式化し、ヘシアンフリー最適化を可能にする。
• HF最適化内での共役勾配法を用い、損失関数の局所的二次近似を反復的に最小化する。
• 凸CTC近似をヘシアンフリーフレームワークと統合し、2次最適化と互換性を確保する。
• LSTMユニットを用いたMDRNNにこの手法を適用し、深さ15層までスタックしてより深い文脈モデリングを実現する。
• 収束安定性を確保するため、保守的な停止基準と重みクリッピングを適用する。
• 手書き文字認識および音素認識データセットにおいて、HF最適化とSGDを複数の深さ設定で比較する。

実験結果

リサーチクエスチョン

• RQ1 非凸的CTC損失関数に対しても、ヘシアンフリー最適化が深層MDRNNのトレーニングに成功するか？
• RQ2 提案されたCTCの凸近似は、EMアルゴリズムおよびフィッシャー情報行列とどのように関連しているか？
• RQ3 5層を超える深さのMDRNNをHF最適化でトレーニングした場合、性能向上が見られるか？
• RQ4 深層MDRNNにおいて、HF最適化とSGDの性能および収束特性はどのように比較されるか？
• RQ5 HF最適化でトレーニングされた系列分類タスクにおけるMDRNNの最適な深さとアーキテクチャは何か？

主な発見

• ヘシアンフリー最適化を用いてトレーニングされた15層のMDRNNは、アラビア語のオフライン手書き文字認識タスクで5.69%のラベル誤り率を達成し、SGDを著しく上回った。
• TIMITデータセットにおける音素認識では、HF最適化された15層MDRNNが18.54%の音素誤り率を達成し、浅層ネットワークによる先行の最先端結果と同等の性能を示した。
• 深さが増すにつれてHFとSGDの性能差が拡大し、HFが特に深層MDRNNに対して顕著に有効であることが示された。
• CTCの凸近似が理論的にEMアルゴリズムおよびフィッシャー情報行列と関連していることが示され、その妥当性が裏付けられた。
• この手法により、15層までのMDRNNの安定したトレーニングが可能となり、HF最適化と組み合わせた深層アーキテクチャが実現可能かつ有益であることが実証された。
• 手書き文字認識において、HF最適化を用いることで、3層の際の誤り率6.10%から13層の際の4.50%へと低下し、HF最適化による深さの恩恵が顕著に現れた。