[論文レビュー] Neural Discourse Structure for Text Categorization

Yangfeng Ji, Noah A. Smith|arXiv (Cornell University)|Feb 7, 2017

Topic Modeling参考文献 28被引用数 12

ひとこと要約

本稿では、自動抽出された修辞的構造理論（RST）ディス course 樹を活用して、テキスト分類性能を向上させる、新しい注目メカニズムを備えた再帰的ニューラルネットワークを提案する。ディス course 構造を従属木としてモデル化し、顕著なディス course ユニットに注目することで、5つのテキスト分類タスクのうち4つで最先端の性能を達成した。これは、パースングレードが十分に高い場合、ディス course 構造が表現学習を強化することを示している。

ABSTRACT

We show that discourse structure, as defined by Rhetorical Structure Theory and provided by an existing discourse parser, benefits text categorization. Our approach uses a recursive neural network and a newly proposed attention mechanism to compute a representation of the text that focuses on salient content, from the perspective of both RST and the task. Experiments consider variants of the approach and illustrate its strengths and weaknesses.

研究の動機と目的

• 修辞的構造理論（RST）で定義されるディス course 構造が、テキスト分類性能を向上させるかどうかを調査すること。
• ディス course 依存木上で再帰的アーキテクチャを用いて、ディス course 構造を統合するニューラルモデルを開発すること。
• RSTのコア-衛星の顕著性階層を反映する新しい非正規化注目メカニズムを設計・評価すること。
• ディス course パーサーの品質とドメインの不一致が、テキスト分類性能に与える影響を評価すること。
• ディス course 構造が、テキスト分類における表現学習のための有用なインダクティブバイアスを提供するかどうかを示すこと。

提案手法

• 各基本ディス course ユニット（EDU）を双方向LSTMで分散表現に符号化する。
• RSTパースから得られるディス course 依存木上で再帰的ニューラルネットワークを構築し、各内部ノードは子ノードの表現の合成を表す。
• 新しい非正規化注目メカニズムを用い、子ノードのディス course 関係に基づいて重要度スコアを計算し、コア（核）を衛星（付属）よりも優先する。
• 注目メカニズムは $\alpha_i = \mathbf{v}_j^\top \mathbf{W}_\alpha \mathbf{e}_i$ で定義され、ここで $\mathbf{v}_j$ は子ノードの隠れ状態、$\mathbf{e}_i$ はEDU埋め込み表現である。
• 最終的なドキュメント表現は木の根から得られ、ソフトマックス層を介して分類に用いられる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで学習され、5つのテキスト分類タスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 RSTパースからのディス course 構造を組み込むことで、多様なテキストジャンルにわたるテキスト分類性能が向上するか？
• RQ2 RSTのコア-衛星階層にインspiredされた、本稿で提案する非正規化注目メカニズムは、ニューラルネットワークにおける正規化注目と比べてどのように異なるか？
• RQ3 ディス course パーサーの品質が、ディス course 拡張テキスト分類モデルの性能に及ぼす影響はどの程度か？
• RQ4 どのテキストジャンルでディス course 構造が最も利益をもたらし、どのジャンルで失敗するか？
• RQ5 パーサーが完璧でない場合でも、ディス course 構造がニューラルテキスト分類のための有用なインダクティブバイアスを提供できるか？

主な発見

• 提案モデルは、5つのテキスト分類タスクのうち4つで先行研究を上回り、Yelpレビューデータセットでは71.8%の正確度で最先端の結果を達成した。
• 非正規化注目を用いたモデルはYelpデータセットで71.8%の正確度を達成し、正規化注目バージョン（70.3%）を上回った。これは、正規化を避ける設計選択が妥当であることを支持する。
• 米国上院法案データセットでは性能が低く、ニュースドメインのパーサーから得られるディス course 構造は、異なる修辞的規範を持つ立法的テキストには一般化しにくいことが示された。
• 実験から、ディス course パースの品質が分類性能に顕著に影響することが分かった。これは、ディス course パースの改善が、下流のテキスト分類に直接的恩恵をもたらす可能性を示唆している。
• 注目メカニズムは顕著なディス course ユニットを適切に特定できており、しばしばコアを表すディス course 樹の根が、分類に最も関連する内容を捉えている。
• モデルは、ディス course 構造が意味のあるインダクティブバイアスを提供することを示しており、ネットワークが文書の中心的かつ情報的な部分に注目できるようにしている。