[論文レビュー] Sentence-State LSTM for Text Representation

Yue Zhang, Qi Liu+1 more|arXiv (Cornell University)|May 7, 2018

Topic Modeling参考文献 43被引用数 39

ひとこと要約

本稿では、すべての語の隠れ状態とグローバルな文レベルの状態を同時にモデル化する平行再帰的アーキテクチャであるSentence-State LSTM（S-LSTM）を提案する。これにより、局所的およびグローバルな文脈の交換が効率的に行える。S-LSTMは、パrameter数が少なく、推論が速いため、特に長いシーケンスにおいて、BiLSTMを上回る性能を発揮する。

ABSTRACT

Bi-directional LSTMs are a powerful tool for text representation. On the other hand, they have been shown to suffer various limitations due to their sequential nature. We investigate an alternative LSTM structure for encoding text, which consists of a parallel state for each word. Recurrent steps are used to perform local and global information exchange between words simultaneously, rather than incremental reading of a sequence of words. Results on various classification and sequence labelling benchmarks show that the proposed model has strong representation power, giving highly competitive performances compared to stacked BiLSTM models with similar parameter numbers.

研究の動機と目的

• 文内のすべての語に対して並列な状態更新を可能にすることで、BiLSTMの逐次的計算ボトル neck を解消する。
• BiLSTMが長距離依存関係を捉えにくく、局所的なn-gramを明示的にモデル化できないという制限を克服する。
• 非局所的な情報伝達を向上させ、表現品質を向上させるために、グローバルな文レベルの状態を導入する。
• 自然言語処理タスクにおける豊かな文脈モデリングを保ちつつ、高い並列性を維持する再帰的アーキテクチャを設計する。
• S-LSTMにおける固定回数の再帰ステップが、同程度のパrameter数を持つ可変長のBiLSTMシーケンスよりも優れた性能を達成できることを示す。

提案手法

• 全文を個々の語レベルの状態とグローバルな文レベルの状態から成る1つの状態としてモデル化する。
• 並列に再帰的更新を実行：各語の状態が同時に左隣と右隣の状態と情報を交換する。
• 文レベルの状態がゲート付き更新を通じてグローバルな文脈を集約し、すべての語の状態に再配布する。
• 3～6ステップの固定再帰ステップを用いて、シーケンス全体に3-gram、5-gram、7-gramの文脈情報を伝搬させる。
• 分類タスクのためのグローバル表現として、文レベルの状態を統合する。
• 標準的なバックプロパゲーションと勾配降下法を用いてエンドツーエンドで学習し、並列状態遷移により計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 並列再帰的アーキテクチャは、精度を維持または向上させつつ、逐次的BiLSTMを上回るテキスト表現性能を発揮できるか？
• RQ2 グローバルな文レベルの状態の導入により、標準的なBiLSTMに比べて長距離依存関係のモデリングが向上するか？
• RQ3 特に長いシーケンスにおいて、S-LSTMはBiLSTMに比べてどれほど計算レイテンシを低減できるか？
• RQ4 POSタギングやNERといった序列ラベル付けタスクにおいて、S-LSTMはスタックドBiLSTM-CRFモデルに比べてどの程度の性能を示すか？
• RQ5 S-LSTMは、スタックドBiLSTMモデルに比べて少ないパrameter数と少ない再帰ステップ数で、競争力のある結果を達成できるか？

主な発見

• POSタギング（WSJデータセット）において、S-LSTMは7ステップの再帰を用いて97.58%のテスト精度を達成し、同じパrameter予算下でBiLSTMを上回った。
• CoNLL-2003 NERテストセットでは、S-LSTMはF1スコア91.57%を達成し、BiLSTMを顕著に上回り、最先端の結果と同等またはそれを上回った。
• S-LSTMは、文の長さが増加するにつれて、BiLSTMよりも優れたロバスト性を示し、より高い精度を維持した。
• 長めの入力において、S-LSTMの1エポックあたりの学習時間はBiLSTMに比べて顕著に速く、シーケンス長が長くなるほどその利点が増大した。
• S-LSTMは、すべての語の状態を並列に計算するため、GPUメモリを多く消費した（映画レビューデータセットで252M vs. 89M）。
• S-LSTMは3～6ステップの固定再帰ステップで競争力のある性能を達成したが、BiLSTMはシーケンス長に比例したステップ数を必要とした。