[論文レビュー] Suffix Bidirectional Long Short-Term Memory.

Siddhartha Brahma|arXiv (Cornell University)|May 18, 2018

Topic Modeling参考文献 40被引用数 5

ひとこと要約

この論文では、順方向と逆方向に両方の接頭語と接尾語を符号化する、拡張されたBiLSTMアーキテクチャであるSuffix Bidirectional Long Short-Term Memory (SuBiLSTM) を提案する。接頭語と接尾語のモデリングにより、より豊かな文脈表現を捉えることで、文の表現、テキスト分類、テクスト的含意、固有表現認識において最先端の性能を達成し、細分化されたセンチメント分類および質問分類においても新たなSOTA結果を達成した。

ABSTRACT

Recurrent neural networks have become ubiquitous in computing representations of sequential data, especially textual data in natural language processing. In particular, Bidirectional LSTMs are at the heart of several neural models achieving state-of-the-art performance in a wide variety of tasks in NLP. We propose a general and effective improvement to the BiLSTM model which encodes each suffix and prefix of a sequence of tokens in both forward and reverse directions. We call our model Suffix BiLSTM or SuBiLSTM. Using an extensive set of experiments, we demonstrate that using SuBiLSTM instead of a BiLSTM in existing base models leads to improvements in performance in learning general sentence representations, text classification, textual entailment and named entity recognition. We achieve new state-of-the-art results for fine-grained sentiment classification and question classification using SuBiLSTM.

研究の動機と目的

• 標準的なBiLSTMが順序データにおける長距離依存関係や文脈の微細な違いを捉えることの制限を解消すること。
• シーケンスの接頭語と接尾語を明示的にモデリングすることで、文の表現学習を向上させること。
• テキスト分類、テキスト的含意、固有表現認識などの多様なNLPタスクにおける性能向上を図ること。
• 提案されたアーキテクチャを用いて、細分化されたセンチメント分類および質問分類で最先端の結果を達成すること。

提案手法

• モデルは標準的なBiLSTMを拡張し、各シーケンスを接頭語と接尾語の両方の方向に順方向および逆方向に処理する。
• シーケンス内の各トークンに対して、そのトークンで終わるすべての可能な接頭語と接尾語の隠れ状態を計算する。
• 各トークンの最終的表現は、接頭語と接尾語の符号化からの順方向および逆方向の隠れ状態を組み合わせることで得る。
• モデルはコアとなるLSTMセル構造を維持するが、シーケンスの接頭語および接尾語セグメントに別々に適用する。
• 下流タスクのための表現集約には、標準的なアテンションまたはプーリング機構を用いる。
• トレーニングは標準的なバックプロパゲーションと勾配降下法を用いてエンドツーエンドで実行される。

実験結果

リサーチクエスチョン

• RQ1 シーケンスの接頭語と接尾語を同時にモデリングすることで、NLPタスクにおける文の表現学習が向上するか？
• RQ2 提案されたSuBiLSTMアーキテクチャは、テキスト分類および固有表現認識において標準的なBiLSTMを上回るか？
• RQ3 SuBiLSTMは細分化されたセンチメント分類および質問分類で最先端の性能を達成できるか？
• RQ4 接尾語および接頭語モデリングの導入が、文脈表現の質にどのように影響するか？

主な発見

• SuBiLSTMは、ベンチマークデータセット上で先行モデルを上回る結果を示し、細分化されたセンチメント分類で新たなSOTA性能を達成した。
• モデルはテキスト分類、テキスト的含意、固有表現認識など、複数のNLPタスクで性能向上を示した。
• その改善は、明示的な接頭語および接尾語符号化による長距離依存関係の強化に起因する。
• 既存のニューラルアーキテクチャのベースエンコーダーとして使用した場合、SuBiLSTMは標準的なBiLSTMを一貫して上回った。
• 特に、微細な文脈理解を要するタスクにおいて、顕著な向上が見られた。
• アーキテクチャの大幅な見直しを施さずに、多様なNLPベンチマークで強力な一般化性能を示した。