[論文レビュー] Cross-topic Argument Mining from Heterogeneous Sources Using Attention-based Neural Networks

Christian Stab, Tristan Miller+1 more|arXiv (Cornell University)|Feb 15, 2018

Topic Modeling参考文献 4被引用数 27

ひとこと要約

本稿では、8つの論争的トピックにまたがる25,000件の多様なWebテキストインスタンスから構成される大規模なクラウドソーシングコーパスを用いて訓練されたアテンションベースのニューラルネットワークを用いた、トピック間での議論抽出フレームワークを提案する。モデルは、トピックに特化したアテンション機構と類似度特徴を活用することで、未学習トピックに対しても強力な耐性を示し、汎用的トピック一般化において、vanilla BiLSTMより正確性で6%、Fスコアで11%高い性能を達成した。

ABSTRACT

Argument mining is a core technology for automating argument search in large document collections. Despite its usefulness for this task, most current approaches to argument mining are designed for use only with specific text types and fall short when applied to heterogeneous texts. In this paper, we propose a new sentential annotation scheme that is reliably applicable by crowd workers to arbitrary Web texts. We source annotations for over 25,000 instances covering eight controversial topics. The results of cross-topic experiments show that our attention-based neural network generalizes best to unseen topics and outperforms vanilla BiLSTM models by 6% in accuracy and 11% in F-score.

研究の動機と目的

• 未訓練のクラウドワーカーが多様で異種のWebテキストに適用可能な汎用的議論アノテーションスキームの開発。
• 8つの論争的トピックにまたがる25,000件を超えるアノテート済みインスタンスを含む大規模かつ多言語対応のトピック間議論抽出コーパスの構築。
• 議論抽出タスクにおけるニューラルモデルの未学習トピックへの一般化性能の評価。
• 一般モデルを特定トピックに適応させるために必要なトピック固有データ量を定量化すること。
• アテンション機構が多様なテキストタイプにまたがって、トピック関連の議論を効果的に同定できるかの調査。

提案手法

• トピック関連性に焦点を当てた文単位のアノテーションスキームの設計：支持的、反対的、議論的でない文を区別。
• 核エネルギー、最低賃金、学校服など8つの論争的トピックにまたがる25,000件のアノテート済みインスタンスをクラウドソーシングで収集。
• 文-トピック整合性をモデル化するためのアテンション機構と、文レベルの文脈モデリングのための別のアテンション機構を備えたアテンションベースのニューラルネットワークの実装。
• 文とトピックの埋め込み間のコサイン類似度特徴を統合し、トピック関連性検出の精度を向上。
• トピック間設定でモデルを学習し、特定トピック内およびゼロショット一般化の両状況で評価。
• アブレーションスタディおよび誤差分析を実施し、アテンション重みとトピックシフトに伴うモデルの耐性を評価。

実験結果

リサーチクエスチョン

• RQ1 未訓練のクラウドワーカーが、異種のWebテキストに対して一貫性のある汎用的議論アノテーションスキームを信頼性を持って適用できるか？
• RQ2 標準的なBiLSTMモデルと比較して、アテンションベースのニューラルネットワークは議論抽出において未学習トピックにどの程度一般化できるか？
• RQ3 一般モデルを特定トピックに適応させるために、特定トピックのデータ量として最小でどの程度必要か？
• RQ4 多様なトピックにまたがる文脈で、アテンション機構はどの言語的特徴を優先的に重視するか？
• RQ5 トピック間設定において、アテンション重みは議論的コンテンツとトピックに依存しない語の両者をどのように反映するか？

主な発見

• クラウドワーカーは、提案されたスキームに対して信頼性の高いアノテーション品質を達成し、25,000件を超えるインスタンスを含む大規模かつ多様な議論抽出コーパスの構築が可能になった。
• アテンションベースのニューラルネットワークは、トピック間一般化タスクにおいて、vanilla BiLSTMモデルより正確性で6ポイント、Fスコアで11ポイント高い性能を示した。
• inner-att+cosモデルは、ターゲットトピックデータの30%のみで0.802のリコールを達成し、BiLSTMおよびBiLSTM+cosモデルが全データを用いても特定トピックリコールに到達しなかったのに対し、顕著に優れた性能を示した。
• アテンション機構は、『違反する』『自由』『損なう』といった議論的に重要な語を効果的に強調し、トピックに無関係なストップワードの注目度を低下させた。
• モデルが上位にランク付けしたアテンション重み付き語は、主に評価的判断を表す形容詞や副詞（例：『公正』『間違っている』『不可能』）および害悪や反対を示す動詞（例：『侵害する』『反対する』）であった。
• 誤差分析の結果、誤検出はしばしば議論的でない背景的記述や根拠のない意見であり、誤検出はしばしばトピックの間接的側面に関連する関連する議論（例：クローン作成のための臓器提供）を含んでいた。