[論文レビュー] End-to-End Neural Sentence Ordering Using Pointer Network

Jingjing Gong, Xinchi Chen+2 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling参考文献 17被引用数 50

ひとこと要約

本稿では、文の順序を直接予測するエンド・ツー・エンドのニューラル文書順序付けモデルを提案する。このモデルは、文脈情報を活用し、パイプライン手法による誤差伝搬を回避するため、ポ인터ネットワーク（Ptr-Net）を用いている。モデルはグリーディデコードでさえ最先端の性能を達成しており、ノイズが多い、あるいは関係のない文が含まれる状況でも高い耐性を示す。

ABSTRACT

Sentence ordering is one of important tasks in NLP. Previous works mainly focused on improving its performance by using pair-wise strategy. However, it is nontrivial for pair-wise models to incorporate the contextual sentence information. In addition, error prorogation could be introduced by using the pipeline strategy in pair-wise models. In this paper, we propose an end-to-end neural approach to address the sentence ordering problem, which uses the pointer network (Ptr-Net) to alleviate the error propagation problem and utilize the whole contextual information. Experimental results show the effectiveness of the proposed model. Source codes and dataset of this paper are available.

研究の動機と目的

• 文書順序付けにおけるペアワイズモデルの限界、例えば文脈モデリングの不足やパイプライン戦略による誤差伝搬を是正すること。
• すべての文を同時に統合的にモデリングするエンド・ツー・エンドのニューラルアプローチを開発し、順序付けの正確性を向上させること。
• 入力セットに無関係なノイズ文を導入することで、モデルの耐性を評価すること。
• モデルが関係のない文を効果的に識別・除外し、残りの整合性のある文を正しく順序付けできることを示すこと。

提案手法

• すべての入力文を同時に参照することで最適な文の順序を生成するポインタネット（Ptr-Net）を用い、ペairワイズ比較に依存しない。
• 双方向LSTMを用いたエンコーダ・デコーダアーキテクチャを採用し、文の表現を符号化し、段階的に順序予測を生成する。
• 各デコードステップで、クエリ依存のコンテキストベクトルを用いて、各文を選択する確率をソフトアテンション機構で計算する。
• 可変長の入力文を処理し、固定長のベクトル表現を生成するために、CBoW、CNN、またはLSTMによる文の符号化を用いる。
• グリーディデコードとビームサーチ戦略を用いて候補となる文の順序を生成し、ビームサーチが性能を顕著に向上させることを確認した。
• 標準のベンチマークを超えて、0、1、または0/1のノイズ文を含む新しい評価設定を導入し、耐性をテストした。

実験結果

リサーチクエスチョン

• RQ1 完全な文脈情報を活用することで、エンド・ツー・エンドのニューラルモデルは、従来のペアワイズモデルを上回ることができるか？
• RQ2 提案されたPtr-Netベースのモデルは、パイプラインベースのアプローチと比較して誤差伝搬を低減できるか？
• RQ3 入力セットに無関係またはノイズの多い文が含まれる状況で、モデルの耐性はどの程度か？
• RQ4 ビームサーチが最適な結果を得るために不可欠であるのか、それともグリーディデコードでも高い性能を維持できるか？
• RQ5 ビームに正解の順序が含まれる場合、モデルはその正しい順序を回復する可能性をどの程度持っているか？

主な発見

• 提案モデルは2つのベンチマークデータセット（arXivおよびSIND）で最先端の性能を達成しており、グリーディデコードでも従来のペアワイズモデルを上回っている。
• ノイズのないarXivデータセットでは、ビームサイズ8でPMRが69.03%、ビームサイズ64で82.78%を達成しており、リランクの可能性が顕著に示されている。
• モデルは高い耐性を示す：1ノイズおよび0/1ノイズケースでも強力な性能を維持しており、0/1ノイズケースは一貫性のない指標トレンドのため最も挑戦的である。
• 5文のテキストで構成されるSINDデータセットでも、arXivと同等の性能を示しており、ビームサイズ64で94.01%のPMRを達成した。これは、モデルが短いテキストに偏っていないことを示している。
• ビームサイズ64で82.78%のPMRを達成したことで、正しく順序付けされた文の順序を高い信頼性で特定できていることが示された。
• 結果から、モデルがノイズの多い文を効果的に除外し、残りの整合性のある文を正しく順序付けできていることが確認された。特にビームサーチを用いた場合に顕著である。