[論文レビュー] Neural Sentence Ordering

Xinchi Chen, Xipeng Qiu+1 more|arXiv (Cornell University)|Jul 23, 2016

Topic Modeling参考文献 24被引用数 46

ひとこと要約

本稿では、大規模な学術論文の要約コーパスを用いて、二項順序付けモデルを学習するデータ駆動型ニューラルアプローチを提示し、文をニューラルネットワークで符号化し、ビームサーチを用いて最適な順序を予測する文の順序付けを独立したタスクとして扱う。主な貢献は、公開可能なデータセットとコードであり、LSTMのようなニューラルモデルが、単なる年代順またはトピック順序を超えて、ディスcourseの整合性を捉える能力において、従来の手法を上回ることを示している。

ABSTRACT

Sentence ordering is a general and critical task for natural language generation applications. Previous works have focused on improving its performance in an external, downstream task, such as multi-document summarization. Given its importance, we propose to study it as an isolated task. We collect a large corpus of academic texts, and derive a data driven approach to learn pairwise ordering of sentences, and validate the efficacy with extensive experiments. Source codes and dataset of this paper will be made publicly available.

研究の動機と目的

• 文の順序付けのための内在的評価の不足を解消するため、高品質で構造の整った学術的要約の大きなデータセットを構築すること。
• 要約や生成の下流処理の一部としてではなく、独立したタスクとして文の順序付けを定式化すること。
• 手作業で設計された特徴量に依存せずに、文の順序を学習するデータ駆動型ニューラル手法を開発すること。
• 新しいベンチマークを用いて、ニューラルモデルが正しい文の順列を予測する能力を評価すること。

提案手法

• arXivから約100万件の学術論文の要約を収集し、大規模かつ一貫性のある文の順序付けデータセットを構築する。
• ニューラル文符号化器（CBoW、CNN、LSTM）を用いて、個々の文の高次元ベクトル表現を生成する。
• 文の埋め込みの連結を入力として用い、文iが文jより前に来るかどうかを予測する2層のニューラルネットワークを備えた二項順序付けモデルを適用する。
• すべての文のペアについて、文の順序を尤度最大化問題として定式化する。
• 全順列のブルートフォース列挙を避けるために、効率的な最も確率の高い順列の探索をビームサーチで行う。
• 勾配に基づく語の重要度分析（偏微分による）を用いて、順序決定に最も寄与する語を可視化する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の特徴量に依存せずに、データ駆動型ニューラルアプローチが、従来のヒューリスティック手法を上回るか。
• RQ2 ニューラルモデルは、生のテキストから、因果関係、トピックの進行、年代順といった、複雑なディスcourse関係をどの程度学習できるか。
• RQ3 CBoW、CNN、LSTMといった異なるニューラルアーキテクチャは、正しい文の順序を予測する上でどのように比較されるか。
• RQ4 『first』、『then』、『results』などの言語的手がかりは、文の位置を予測するためにどの程度予測的か。

主な発見

• LSTMベースのモデルは、正しいペア（1,2）に対して0.8744の信頼度を示し、逆順（2,1）に対しては0.1110にとどまるため、CNNやCBoWを上回る高い信頼度を示した。
• CBoWモデルは順序論理を捉えられず、誤った順序（2,1）に対して0.6097のスコアを、正しい順序（0.4911）よりも高く付与した。
• 『first』、『second』、『results』といった語は、特に順序的または結果志向のディスcourse構造において、文の位置を示す重要な指標であると特定された。
• CNNおよびLSTMモデルは『first』や『second』といった顕著なディスcourseマーカーを検出できるが、LSTMは論理的依存関係を捉える能力において、より高い信頼度と正確性を示した。
• モデルの性能は、二項順序付けにおいては顕著に優れていたが、全要約の再順序付けにおいては依然として課題が残っており、グローバルな整合性の維持が困難であることが示された。
• 本稿で提示されたデータセットとコードは公開されており、今後の文順序付け分野の研究における貴重なベンチマークを提供している。