[論文レビュー] Improved Sentence Modeling using Suffix Bidirectional LSTM

Siddhartha Brahma|arXiv (Cornell University)|May 18, 2018

Topic Modeling被引用数 9

ひとこと要約

本稿では、順方向および逆方向の両方で各トークンの接頭辞と接尾辞を同時に符号化することで、長距離依存関係のモデリングを向上させる、新しいRNNアーキテクチャであるSuffix Bidirectional LSTM (SuBiLSTM)を提案する。これらの表現をmaxプーリングによって統合することで、従来のBiLSTMに変更を加えずに、細粒度のセンチメント分類や質問分類といった文モデリングタスクで最先端の性能を達成する。

ABSTRACT

Recurrent neural networks have become ubiquitous in computing representations of sequential data, especially textual data in natural language processing. In particular, Bidirectional LSTMs are at the heart of several neural models achieving state-of-the-art performance in a wide variety of tasks in NLP. However, BiLSTMs are known to suffer from sequential bias - the contextual representation of a token is heavily influenced by tokens close to it in a sentence. We propose a general and effective improvement to the BiLSTM model which encodes each suffix and prefix of a sequence of tokens in both forward and reverse directions. We call our model Suffix Bidirectional LSTM or SuBiLSTM. This introduces an alternate bias that favors long range dependencies. We apply SuBiLSTMs to several tasks that require sentence modeling. We demonstrate that using SuBiLSTM instead of a BiLSTM in existing models leads to improvements in performance in learning general sentence representations, text classification, textual entailment and paraphrase detection. Using SuBiLSTM we achieve new state-of-the-art results for fine-grained sentiment classification and question classification.

研究の動機と目的

• BiLSTMにおける順序バイアス（文脈表現が近接するトークンに過剰に影響を受けること）を是正すること。
• 特に自然言語処理における順序データの長距離依存関係のモデリングを改善すること。
• 既存のモデルアーキテクチャを変更せずに、一般化可能で即座に置き換え可能なBiLSTMの代替手法を開発すること。
• SuBiLSTMの有効性を、テキスト分類やテキスト帰属関係推論を含む多様なNLPタスクにおいて示すこと。

提案手法

• シーケンス内の各トークンに対して、別々のLSTMを用いて前方接頭辞、前方接尾辞、逆方向接頭辞、逆方向接尾辞の4つの文脈表現を計算する。
• 前方接尾辞符号化（トークンiから末尾まで）は、現在の位置から遠く離れたトークンを処理するため、長距離依存関係に寄与するバイアスを導入する。
• 逆方向接頭辞符号化（逆順でトークンiから先頭まで）も同様に、左側の遠く離れた文脈に注目する。
• 各トークンの最終的な文脈表現は、前方および逆方向の接頭辞・接尾辞表現のmaxプーリングによって得られる。
• 2つのバージョンを導入：アンタイド（接頭辞と接尾辞に別々のLSTMを用いる）とタイド（各方向の接頭辞と接尾辞に共通のLSTMを用いる）で、パラメータ数を削減し、一般化性能を向上させる。
• モデルは、既存のBiLSTMベースのアーキテクチャにそのまま差し込む形で使用され、モデルの他の部分に変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 両方向で接頭辞と接尾辞を明示的に符号化することで、RNNにおける長距離依存関係のモデリングが向上するか？
• RQ2 提案されたSuBiLSTMアーキテクチャは、文レベルタスクにおける文脈情報の捉え方において、標準的なBiLSTMを上回るか？
• RQ3 SuBiLSTMのタイドバージョンは、アンタイドバージョンと比較して、性能とパラメータ効率の点で優れているか？
• RQ4 SuBiLSTMは、テキスト分類や類似文検出といった文モデリングタスクで最先端の結果を達成できるか？

主な発見

• QUORA類似文検出データセットでは、88.2%の新しい最先端の正確度を達成し、より複雑なアテンションベースのモデル（BiMPM）と同等の性能を示した。
• TREC質問分類データセットでは、95.8%の正確度を達成し、以前の最先端結果を上回った。
• SST-2データセットにおける細粒度センチメント分類では、92.1%の正確度を達成し、新たな最先端を樹立した。
• 小さなデータセット（SSTおよびTREC）では、パラメータ共有による正則化効果のため、タイドバージョンがより優れた性能を示した。
• より大きなデータセット（SNLIおよびQUORA）では、容量の高いアンタイドバージョンがわずかに優れた性能を示した。
• 性能向上は、一般文表現、テキスト分類、テキスト帰属関係推論、類似文検出など、複数のタスクで一貫して観察された。