[論文レビュー] Depth-Gated LSTM

Kaisheng Yao, Trevor Cohn+3 more|arXiv (Cornell University)|Aug 16, 2015

Natural Language Processing Techniques参考文献 14被引用数 36

ひとこと要約

この論文では、隣接する層間の記憶セルを接続する深さゲートを追加することで、標準LSTMを向上させるアーキテクチャであるDepth-Gated LSTMsを紹介する。深さゲートは、下位層の記憶セル、入力、および隠れ状態の関数として学習可能な関数であり、層間の線形でゲーティングされた接続を導入することで、機械翻訳および言語モデル作成タスクにおける性能向上を実現する。

ABSTRACT

In this short note, we present an extension of long short-term memory (LSTM) neural networks to using a depth gate to connect memory cells of adjacent layers. Doing so introduces a linear dependence between lower and upper layer recurrent units. Importantly, the linear dependence is gated through a gating function, which we call depth gate. This gate is a function of the lower layer memory cell, the input to and the past memory cell of this layer. We conducted experiments and verified that this new architecture of LSTMs was able to improve machine translation and language modeling performances.

研究の動機と目的

• 機械翻訳および言語モデル作成などの系列モデル化タスクにおける標準LSTMの性能を向上させること。
• 深層LSTMアーキテクチャにおける層間の情報伝達が限定的であるという問題に取り組むこと。
• 隣接する層間の記憶情報の伝達を明示的に制御する新しいゲーティング機構（深さゲートと呼ぶ）を導入すること。
• 深さゲートがモデルの性能を向上させることを経験的に検証することであり、モデルの複雑さを著しく増加させないこと。

提案手法

• 深さゲートは、下位層の記憶セル、層の現在の入力、および前回の隠れ状態を入力として取り、微分可能関数として定義される。
• 深さゲートは、下位層の記憶セルと上位層の記憶セルの間の線形接続を調整する。
• ゲーティング機構により、ネットワークはどのタイミングで、どの程度の情報を1層目の記憶から次の層に伝えるかを学習できる。
• Depth-gated LSTMは、標準LSTMのセル状態および隠れ状態の計算を維持しているが、記憶セルの更新ルールに深さゲートを追加している。
• 深さゲートは、標準LSTMの学習と同様に、時間軸に沿った誤差逆伝播法を用いてエンドツーエンドで学習される。
• 効果の評価のため、このアーキテクチャは機械翻訳および言語モデル作成タスクに適用されている。

実験結果

リサーチクエスチョン

• RQ1 隣接するLSTM層の記憶セル間に学習可能なゲートを導入することで、系列モデル化の性能が向上するか？
• RQ2 深さゲートは、深層LSTMネットワークの層間における情報伝達にどのように影響するか？
• RQ3 Depth-gated LSTMアーキテクチャは、機械翻訳および言語モデル作成タスクにおいて、標準的な深層LSTMを上回る性能を示すか？
• RQ4 深さゲートの入力コンポonents（下位層の記憶、入力、および隠れ状態）がモデル性能に与える影響は何か？

主な発見

• Depth-gated LSTMアーキテクチャは、標準的な深層LSTMネットワークと比較して、機械翻訳タスクでより優れた性能を達成した。
• 言語モデル作成においても一貫した向上が見られ、長距離依存関係の捉えが良くなった。
• 深さゲート機構により、層間のより効果的な情報伝達が可能になり、深層ネットワークの表現能力が向上した。
• モデルパラメータや計算コストの著しい増加なしに、性能向上が達成された。