[論文レビュー] Parsing Argumentation Structures in Persuasive Essays

Christian Stab, Iryna Gurevych|arXiv (Cornell University)|Apr 25, 2016

Software Engineering Research参考文献 126被引用数 51

ひとこと要約

本論文は、トークンレベルの系列ラベリングと整数線形計画法（ILP）を用いたグローバル最適化により、主張（claim）、前提（premise）の同定とそれらの関係を統合的に扱う、画期的なエンドツーエンドの議論構造パーサーを提示する。この手法はベースライン手法を著しく上回り、信頼性の高い相互評価度を示す402編のアノテート済みの説得的エッセイで構成される、新たな高品質コーパスを提供し、計算的議論研究の再現可能性を可能にする。

ABSTRACT

In this article, we present a novel approach for parsing argumentation structures. We identify argument components using sequence labeling at the token level and apply a new joint model for detecting argumentation structures. The proposed model globally optimizes argument component types and argumentative relations using integer linear programming. We show that our model considerably improves the performance of base classifiers and significantly outperforms challenging heuristic baselines. Moreover, we introduce a novel corpus of persuasive essays annotated with argumentation structures. We show that our annotation scheme and annotation guidelines successfully guide human annotators to substantial agreement. This corpus and the annotation guidelines are freely available for ensuring reproducibility and to encourage future research in computational argumentation.

研究の動機と目的

• 説得的エッセイにおける議論構造を解析する、堅牢でエンドツーエンドの手法を開発すること。
• 人間のアノテーターが新しいアノテーションスキームを用いて議論構造を信頼性高く同定できるかどうかを評価すること。
• ディス course レベルの議論構造でアノテートされた、高品質で公開可能な説得的エッセイコーパスを構築すること。
• 局所的でヒューリスティックに基づく手法を上回る、議論的要素と関係の認識性能を向上させること。
• 再現可能なデータとアノテーションガイドラインを通じて、将来的な計算的議論研究を可能にすること。

提案手法

• トークンレベルの系列ラベリングによる議論的要素同定と、整数線形計画法（ILP）による全要素および関係のグローバル最適化を統合したモデルを提案する。
• MSTベースのアプローチとは異なり、複数の議論やリンクのない要素を許容する連結ツリー構造を議論構造としてモデル化する。
• ステンスと要素同定のため、語彙的、文法的、話法的、感情的、構造的、埋め込み特徴を統合した豊富な特徴モデルを採用する。
• すべての要素と関係の予測を同時に最適化することで、構造的一致性と整合性を確保する。
• 議論理論に基づいた新しいアノテーションスキームを設計し、主張、前提、議論的関係（正当化／反証）を明確に区別する。
• アノテーションスキームの妥当性を検証するため、人間のアノテーターによるアノテーション研究を実施し、コーパス全体で顕著な相互評価度を達成した。

実験結果

リサーチクエスチョン

• RQ1 提案されたアノテーションスキームを用いて、人間のアノテーターは説得的エッセイにおける議論構造を信頼性高く同定できるか？
• RQ2 全要素と関係をグローバルに最適化する統合モデルは、局所的またはヒューリスティックベースのベースラインを上回れるか？
• RQ3 提案されたILPに基づく統合モデルは、議論的要素と関係の検出において、ベース分類器を著しく上回る性能を示すか？
• RQ4 アノテート済みの説得的エッセイからなるコーパスは、十分な品質と信頼性を備えており、将来的な研究を支援できるか？
• RQ5 語彙的、文法的、話法的など多様な特徴の統合は、議論構造パーサーの性能向上に寄与するか？

主な発見

• 提案されたILPに基づく統合モデルは、ベース分類器およびヒューリスティックベースのベースラインを著しく上回り、議論的要素と関係の認識性能に優れた。
• 人間のアノテーターは、新しいアノテーションスキームを用いて説得的エッセイの議論構造を信頼性高く同定でき、その妥当性と実用性が裏付けられた。
• ディス course レベルの議論構造でアノテートされた402編の説得的エッセイからなるコーパスは、公開されており、再現可能な研究を可能にする。
• 語彙的、文法的、話法的、感情的、構造的、埋め込み特徴のすべての特徴群を組み合わせたモデルが最良の性能を示し、いずれの特徴群も絶対に不可欠であるとは限らない。
• すべての特徴を組み合わせたモデルは、マクロF1スコア0.702を達成し、多数派ベースライン（0.475）とヒューリスティックベースライン（0.521）を著しく上回った。
• ILPによる統合最適化により、複数の議論やリンクのない要素を含む複雑な議論構造を効果的に捉えることができ、MSTベースのモデルが表現できない構造も適切に扱える。