[論文レビュー] Simplified Long Short-term Memory Recurrent Neural Networks: part III

Atra Akandeh, Fathi M. Salem|arXiv (Cornell University)|Jul 14, 2017

Neural Networks and Applications参考文献 6被引用数 6

ひとこと要約

本稿では、セル状態更新における重み行列を学習可能なベクトルに置き換え、パラメータ数を削減するためのハダマード積（要素ごとの積）を適用することで、計算効率の高いLSTMの新規変種LSTM10およびLSTM11を提案する。これらのモデルは、特にリソースが制限された環境下でも、標準LSTMと同等の安定性と性能を維持しつつ、顕著に低い計算負荷で競争力のある精度（最高95.31％のテスト精度）を達成した。

ABSTRACT

This is part III of three-part work. In parts I and II, we have presented eight variants for simplified Long Short Term Memory (LSTM) recurrent neural networks (RNNs). It is noted that fast computation, specially in constrained computing resources, are an important factor in processing big time-sequence data. In this part III paper, we present and evaluate two new LSTM model variants which dramatically reduce the computational load while retaining comparable performance to the base (standard) LSTM RNNs. In these new variants, we impose (Hadamard) pointwise state multiplications in the cell-memory network in addition to the gating signal networks.

研究の動機と目的

• リソース制約のある環境への展開を念頭に、標準LSTMネットワークの計算負荷を低減すること。
• ゲーティング機構にとどまらない、主なセルメモリネットワークにおけるパrameter削減戦略の探求。
• セル状態更新における重み行列の置き換えとハダマード積の適用が、性能に与える影響の評価。
• モデルの複雑さと推論時間を著しく低減しつつ、高い性能を維持すること。

提案手法

• セル状態更新における重み行列 $ U_c $ を学習可能なベクトル $ u_c $ に置き換え、隠れ状態とのポイントワイズ乗算を可能にする。
• ゲーティング信号においても、隠れ状態との相互作用に重み行列の代わりに学習可能なベクトル $ u_i, u_f, u_o $ を使用することで、ハダマード（要素ごとの）乗算を適用する。
• ゲーティング式にバイアス項を含めないLSTM10と、バイアス項を再導入したLSTM11を定式化する。
• 標準的な活性化関数（tanh、シグモイド、ReLU）を用い、Kerasを用いてMNISTで訓練し、RMProp最適化法とカテゴリカル交差エントロピー損失を使用する。
• 異なる学習率 $ \eta $、活性化関数、モデル変種の組み合わせを評価し、安定した性能を示す設定を同定する。

実験結果

リサーチクエスチョン

• RQ1 LSTMセル状態更新における重み行列 $ U_c $ を学習可能なベクトルに置き換えることで、性能に悪影響を与えずに計算コストを顕著に低減できるか？
• RQ2 ゲーティングおよびセル状態方程式の両方で隠れ状態にハダマード積を適用することで、モデルの精度と学習安定性にどのような影響を与えるか？
• RQ3 tanh、シグモイド、ReLUといった異なる活性化関数が、簡素化されたLSTM変種（特にLSTM10）の性能に与える影響は何か？
• RQ4 学習率 $ \eta $ のチューニングにより、特にReLU活性化を用いたLSTM10の性能向上が図れるか？
• RQ5 提案された変種（LSTM10およびLSTM11）は、標準LSTMおよびベースラインのbRNN（LSTM6）と比較して、精度、パラメータ数、学習時間の観点でどのように異なるか？

主な発見

• LSTM11はtanh活性化関数と $ \eta = 0.004 $ を用いて95.31％のテスト精度を達成し、標準LSTMと同等の高い性能を示した。
• ReLU活性化関数を用いたLSTM10は、$ \eta = 0.001 $ 時にしか52.26％のテスト精度にとどまらず、より高い $ \eta $ では性能がさらに劣化した。
• パラメータ数は標準LSTMの52,610からLSTM11の4,610、LSTM10の4,310にまで大幅に削減され、計算負荷が著しく低減された。
• 1エポックあたりの学習時間は、標準LSTMの30秒からLSTM10の18秒、LSTM11の19秒にまで短縮され、推論効率の向上が確認された。
• LSTM11は、すべての活性化関数においてLSTM10を上回り、特にReLUでは $ \eta = 0.005 $ 時に95.82％のテスト精度を達成した。これは、ゲーティング信号におけるバイアス項の重要性を示唆している。
• LSTM11では、ReLU活性化関数と $ \eta = 0.005 $ を用いた場合に、96.35％の最高テスト精度が得られ、学習率のチューニングにより簡素化モデルの性能を回復できることを示した。