[論文レビュー] A Unified Linear-Time Framework for Sentence-Level Discourse Parsing

Xiang Lin, Shafiq Joty+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 30被引用数 8

ひとこと要約

本稿では、修辞構造理論（RST）に基づく文単位の discourse 解析を対象として、Pointer Networks を用いた統合的でエンド・ツー・エンドのニューラルフレームワークを提案する。線形時間計算量を達成しつつ、最先端の性能を実現した。フレームワークはエンコーダ・デコーダアーキテクチャを用いて、discourse 分割器とパーサーを同時に学習し、分割では 95.5 F1、関係ラベル付けでは 81.7 F1 を達成した。これは人間の性能に近づき、従来のシステムと比べて最大 11.6 倍高速である。

ABSTRACT

We propose an efficient neural framework for sentence-level discourse analysis in accordance with Rhetorical Structure Theory (RST). Our framework comprises a discourse segmenter to identify the elementary discourse units (EDU) in a text, and a discourse parser that constructs a discourse tree in a top-down fashion. Both the segmenter and the parser are based on Pointer Networks and operate in linear time. Our segmenter yields an $F_1$ score of 95.4, and our parser achieves an $F_1$ score of 81.7 on the aggregated labeled (relation) metric, surpassing previous approaches by a good margin and approaching human agreement on both tasks (98.3 and 83.0 $F_1$).

研究の動機と目的

• 修辞構造理論（RST）に基づく文単位の discourse 分析のための効率的でエンド・ツー・エンドのニューラルフレームワークの開発。
• 事前学習された埋め込みを用いる完全にニューラルなアーキテクチャにより、手作業で特徴を設計する依存を排除すること。
• discourse 分割とパースィングを統合的に1つの共同学習フレームワークに統合し、性能を向上させること。
• エンコーダ・デコーダモデルによるグローバルな文脈認識を維持しつつ、線形時間の推論を実現すること。
• 既存の最先端システムと比較して、著しく性能と速度を向上させること。

提案手法

• フレームワークは、両方のタスク（分類器とパーサー）の基盤として Pointer Networks を使用し、アテンション機構を備えたシーケンス・ツー・シーケンスモデリングを可能にする。
• 分断器は、入力トークンのスパン境界を指すデコーダーを用いて、基本的 discourse 単位（EDU）を特定する。
• パーサーは、トップダウンでトランジションベースの方法で discourse 樹木を構築し、親子関係と関係タイプを指すデコーダーを用いる。
• エンコーダーは入力テキスト全体を処理し、グローバルな文脈を捉える。デコーダーはエンコーディング表現の上でのアテンションを用いながら、段階的に discourse 構造を生成する。
• 共有エンコーダーとエンド・ツー・エンドのバックプロパゲーションにより、分断器とパーサーの共同学習が可能となり、相互最適化が可能になる。
• モデルは事前学習済み GloVe 埋め込みを用い、手作業による特徴設計を一切避けており、ニューラル表現に依存している。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴設計に依存せずに、統合的ニューラルフレームワークが文単位の discourse 解析で最先端の性能を達成できるか？
• RQ2 分断とパースィングの共同学習が、全体の discourse 分析性能にどのように寄与するか？
• RQ3 Pointer Networks を用いたアーキテクチャは、線形時間計算量を達成しつつ、グローバルな文脈認識を維持できるか？
• RQ4 提案フレームワークは、既存システムと比較して、精度と推論速度の両面でどの程度優れているか？
• RQ5 ニューラルシステムは、discourse 分割とパースィングにおいて、人間レベルの性能にどの程度近づけるか？

主な発見

• 提案された分断器は、RST-DT データセットで 95.5 F1 を達成し、前回の最先端手法と比較して相対誤差を 32% 減少させた。
• パーサーは自動分断を前提とした関係ラベル付けタスクで 81.7 F1 を達成し、最高の既存システムを上回り、相対誤差を 17% 減少させた。
• 分断器とパーサーの共同学習により、分断では 95.5 F1、パースィングでは 81.7 F1 を達成し、人間の合意（それぞれ 98.3 と 83.0 F1）に近づいた。
• エンド・ツー・エンドのシステムは、自動分断を前提とした関係ラベル付けで 77.5 F1 を達成し、DCRF ベースラインを上回った。
• GPU では従来の最速システム（SPADE）と比べて 11.6 倍高速で、CPU では 5.9 倍高速であり、GPU での推論速度は 35.54 文／秒であった。
• アブレーションスタディの結果、核性と関係予測のための単一の共同分類器を用いることで、分離した分類器よりも高い性能が得られ、構造的制約が強制されたためである。