[論文レビュー] Improved Document Modelling with a Neural Discourse Parser

Fajri Koto, Jey Han Lau+1 more|arXiv (Cornell University)|Nov 16, 2019

Topic Modeling参考文献 17被引用数 4

ひとこと要約

本稿では、修辞的構造理論（RST）に基づく神経的話法解析を用いて文書表現を向上させる手法を提案する。文書を基本的単位としての話法的単位（EDU）としてモデル化し、構造的関係を捉える。このアプローチにより、要約抽出の性能とオンライン請願の支持率予測の性能が顕著に向上し、注意メカニズムを超えた明示的な話法構造のモデリングが可能になる。

ABSTRACT

Despite the success of attention-based neural models for natural language generation and classification tasks, they are unable to capture the discourse structure of larger documents. We hypothesize that explicit discourse representations have utility for NLP tasks over longer documents or document sequences, which sequence-to-sequence models are unable to capture. For abstractive summarization, for instance, conventional neural models simply match source documents and the summary in a latent space without explicit representation of text structure or relations. In this paper, we propose to use neural discourse representations obtained from a rhetorical structure theory (RST) parser to enhance document representations. Specifically, document representations are generated for discourse spans, known as the elementary discourse units (EDUs). We empirically investigate the benefit of the proposed approach on two different tasks: abstractive summarization and popularity prediction of online petitions. We find that the proposed approach leads to substantial improvements in all cases.

研究の動機と目的

• 長文における話法構造を捉えることに失敗する注目メカニズムベースのモデルの限界を解消すること。
• 明示的な話法表現が文書レベルNLPタスクの性能に与える影響を調査すること。
• RSTに基づく話法解析が、系列モデルタスクにおける文書表現の向上にどのように有用であるかを検討すること。
• 話法に配慮した表現が要約抽出とオンライン請願の支持率予測に与える影響を評価すること。

提案手法

• 本手法は、文書から修辞的構造理論（RST）関係を抽出する神経的話法解析器を採用し、分析の基本単位として話法的単位（EDU）を特定する。
• 各EDUごとに文書表現を生成し、話法に配慮した符号化により局所的および関係的構造を捉える。
• 話法に配慮した表現を、要約抽出および支持率予測タスクの下流モデルに統合する。
• 標準的な系列対系列の注目メカニズムに代わるか、それを補完する形で、話法構造に基づく表現を導入し、長距離依存関係のモデリングを改善する。
• モデルは文書レベルタスク上でエンドツーエンドに学習され、話法構造が一般化を向上させるためのインダクティブバイアスとして機能する。
• 本手法は、要約抽出とオンライン請願支持率予測の2つの異なるタスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 RSTを用いた話法構造の表現は、ニューラルモデルにおける文書レベル表現学習を向上させることができるか？
• RQ2 話法に配慮した表現を組み込むことで、標準的な注目メカニズムベースのモデルと比較して、要約抽出の性能が向上するか？
• RQ3 話法構造は、オンライン請願の支持率予測にどの程度向上効果をもたらすか？
• RQ4 話法に配慮した表現は、文書と要約の関係をモデリングする際、潜在空間マッチングと比較してどのように優れているか？
• RQ5 話法解析は、長文における系列モデルの一般化のための汎用的強化手段として機能するか？

主な発見

• 提案された話法に配慮した表現アプローチにより、要約抽出タスクにおける性能が顕著に向上した。
• オンライン請願の支持率予測においても顕著な向上が達成され、文書構造と意図のモデリングがより良く行われたことが示された。
• RSTに基づく話法解析を組み込むことで、注目メカニズムのみに依存する場合よりも、文書表現が向上した。
• 話法に配慮したモデルは、元の文書と要約の間の潜在空間マッチングに依存する標準的な系列対系列モデルを上回った。
• 性能向上は、要約抽出と支持率予測の両タスクで一貫しており、本アプローチの一般化可能性が裏付けられた。