[論文レビュー] Cell-aware Stacked LSTMs for Modeling Sentences

Jihun Choi, Taeuk Kim+1 more|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 64被引用数 3

ひとこと要約

本稿では、隠れ状態とメモリセル状態をソフトゲーティング機構を用いて垂直方向の情報伝達に統合することで、新しいスタック型LSTMアーキテクチャであるCell-aware Stacked LSTMs (CAS-LSTM)を提案する。LSTMのゲーティング機構を垂直接続に活用することで、SNLI、SST-2、Quora Question Pairsを含む複数のNLPタスクで顕著な性能向上を達成し、標準的なスタック型LSTMを上回る性能を発揮する。

ABSTRACT

We propose a method of stacking multiple long short-term memory (LSTM) layers for modeling sentences. In contrast to the conventional stacked LSTMs where only hidden states are fed as input to the next layer, the suggested architecture accepts both hidden and memory cell states of the preceding layer and fuses information from the left and the lower context using the soft gating mechanism of LSTMs. Thus the architecture modulates the amount of information to be delivered not only in horizontal recurrence but also in vertical connections, from which useful features extracted from lower layers are effectively conveyed to upper layers. We dub this architecture Cell-aware Stacked LSTM (CAS-LSTM) and show from experiments that our models bring significant performance gain over the standard LSTMs on benchmark datasets for natural language inference, paraphrase detection, sentiment classification, and machine translation. We also conduct extensive qualitative analysis to understand the internal behavior of the suggested approach.

研究の動機と目的

• 標準的な隠れ状態伝播を超えて、スタック型LSTM層間の情報伝達を向上させることで、文表現学習の改善を図ること。
• 下位層のメモリセル状態を垂直接続に組み込むことで、逐次的依存関係のモデリングが向上するかを検証すること。
• 標準的なスタック型LSTMと後方互換性を保ちつつ、性能を向上させるシンプルで効果的なアーキテクチャの設計。
• 自然言語推論、センチメント分類、機械翻訳などの多様なNLPタスクにおいて、提案アーキテクチャの有効性を実証的に検証すること。
• ゲート動作と情報伝達の分析を通じて、提案アーキテクチャの内部ダイナミクスに関する定性的な知見を提供すること。

提案手法

• 標準的なスタック型LSTMを拡張し、現在の層の計算に、前の層の隠れ状態とメモリセル状態を入力する。
• 時間的フォグットゲートに類似したソフトゲーティング機構を用いて、下位層のセル状態 $\mathbf{c}_t^{l-1}$ の垂直方向の情報伝達を制御する新しいフォグットゲート $\mathbf{g}_t^l$ を導入する。
• 垂直ゲート $\mathbf{g}_t^l$ は、現在の隠れ状態 $\mathbf{h}_t^{l-1}$ とセル状態 $\mathbf{c}_t^{l-1}$ を用いて計算され、下位層からの情報の動的モodulationを可能にする。
• 最終的なセル状態 $\mathbf{c}_t^l$ は、入力候補、前のセル状態、および下位層のセル状態の重み付き和として計算され、重みは入力ゲート、フォグットゲート、および垂直ゲートによって決定される。
• 左側と下位のコンテキストからの寄与をバランスさせるための学習可能なスケーリング因子 $\bm{\lambda}$ を導入し、安定性と性能の向上を図る。
• すべての層の状態次元が同一であれば、標準的なスタック型LSTMと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 下位層のメモリセル状態を垂直情報伝達に組み込むことで、スタック型LSTMにおける文表現学習が向上するか。
• RQ2 垂直接続に専用のソフトゲーティング機構を用いることで、階層的および逐次的依存関係のモデリングが向上するか。
• RQ3 自然言語推論、センチメント分類、機械翻訳などの多様なNLPタスクにおいて、提案アーキテクチャは標準的なスタック型LSTMや残差接続・ショートカット接続の変種と比較して、性能に優れているか。
• RQ4 出力ゲートに比べて、垂直フォグットゲートが下位層セル状態からの関連情報選択に果たす寄与は何か。
• RQ5 実際の学習済みゲートはどのように動作するか。情報フィルタリングを強化するような明確な意思決定を下しているか。

主な発見

• SNLIデータセットにおいて、CAS-LSTMは87.0%のテスト精度を達成し、ベースラインのスタック型LSTMおよびこのベンチマークで最も高い性能を示す最先端モデルを上回った。
• SST-2センチメント分類データセットでは、CAS-LSTMは既存の最先端モデルと同等またはそれ以上の性能を達成した。
• Quora Question Pairsの類似質問検出タスクでは、CAS-LSTMが標準的なスタック型LSTMに対して一貫した改善を示した。
• アブレーションスタディの結果、学習可能なスケーリング因子 $\bm{\lambda}$ が性能向上に寄与しており、$\bm{\lambda}$ を含まないバージョンと比較して、最良の設定で0.4%の精度向上を達成した。
• 定性的分析の結果、垂直フォグットゲート $\mathbf{g}_t^l$ と出力ゲート $\mathbf{o}_t^{l-1}$ は、情報選択に関して明確に異なる意思決定を下しており、新規ゲートの補完的役割が裏付けられた。
• 下位コンテキスト統合にピーチポケット接続を用いたモデルバージョンはCAS-LSTMに劣り、提案ゲーティング機構の優位性が裏付けられた。