[論文レビュー] Sentence Simplification with Memory-Augmented Neural Networks

Tu Vu, Baotian Hu+2 more|arXiv (Cornell University)|Apr 20, 2018

Text Readability and Simplification参考文献 15被引用数 7

ひとこと要約

本稿では、長距離依存関係のモデリングを向上させるために、ニューラル意味エンコーダー（NSE）をエンコーダーとして使用するメモリ拡張型ニューラルシーケンス・ツー・シーケンスモデルを提案する。NseLstm-Bモデルは、自動評価および人的評価の両方で強力なベースラインを上回り、意味の保持と文の自然さを維持したまま、読解の難易度を顕著に低減している。

ABSTRACT

Sentence simplification aims to simplify the content and structure of complex sentences, and thus make them easier to interpret for human readers, and easier to process for downstream NLP applications. Recent advances in neural machine translation have paved the way for novel approaches to the task. In this paper, we adapt an architecture with augmented memory capacities called Neural Semantic Encoders (Munkhdalai and Yu, 2017) for sentence simplification. Our experiments demonstrate the effectiveness of our approach on different simplification datasets, both in terms of automatic evaluation measures and human judgments.

研究の動機と目的

• 長く複雑な文を意味や文法的正しさを損なわず簡素化する課題に対処すること。
• 標準的なLSTM/GRUモデルと比較して、メモリ拡張型RNNアーキテクチャが文の簡素化性能を向上させるかどうかを検証すること。
• 異なるエンコーダー構造を備えたニューラルシーケンス・ツー・シーケンスモデルの簡素化タスクへの有効性を評価すること。
• 自動評価および人的評価の指標における自然さ、適切さ、簡素さのトレードオフを分析すること。

提案手法

• モデルは、ニューラル意味エンコーダー（NSE）をエンコーダーとし、LSTMをデコーダーとするアテンションベースのエンコーダー・デコーダー枠組みを採用している。
• NSEは、入力シーケンス全体にわたる文脈表現を保存・精錬するため、各時刻ステップで更新されるメモリ行列を維持している。
• メモリ行列は単語ベクトルで初期化され、NSEの内部関数を用いて長距離依存関係を捉えるように精錬される。
• アテンション機構により、デコーダーはターゲット生成中に関連するソース位置に動的に注目できる。
• モデルは、複雑文・簡素化文のペairを用いて交差エントロピー損失でエンド・ツー・エンドに訓練される。
• NseLstm-B、NseLstm-S、LstmLstm-B、LstmLstm-Sなどの複数のバリエーションが評価され、異なる学習データおよびビームサーチ戦略が用いられている。

実験結果

リサーチクエスチョン

• RQ1 NSEのようなメモリ拡張型RNNアーキテクチャは、標準的なLSTMベースのモデルと比較して、文の簡素化性能を向上させることができるか？
• RQ2 NSEエンコーダーは、簡素化タスクにおける長く複雑な文の処理能力にどのように寄与するか？
• RQ3 ニューラル文の簡素化システムにおける自然さ、適切さ、簡素さの間のトレードオフは何か？
• RQ4 自動評価指標は、文の簡素化において人的判断とどの程度相関しているか？

主な発見

• NseLstm-Bモデルは、WikiSmallおよびWikiLargeデータセットの両方で自然さと適切さの観点で最高の性能を達成した。
• WikiLargeでは、NseLstm-Bが最高の適切さスコアを記録した一方、LstmLstm-Bが最高の自然さスコアを記録した。
• NseLstm-Sバージョンは、WikiSmallおよびWikiLargeの両方で、簡素さスコアおよび平均スコアにおいて、他のすべてのシステムを上回った。
• 人的評価では、自然さと適切さの間に有意な正の相関（r=0.69）が確認され、適切さと簡素さの間に有意な負の相関（r=-0.64）が確認された。
• BLEUは適切さ（r=0.90）および自然さ（r=0.63）と強い相関を示したが、SARIは簡素さとの相関が最も高かった（r=0.73）。
• 結果から、ニューラルモデルは自然さにおいて従来のシステムを上回ることが確認されたが、特に入力フレーズのコピーにおいて意味の保持に課題を抱える傾向があることが示された。