[論文レビュー] Towards an Argument Mining Pipeline Transforming Texts to Argument Graphs

Mirko Lenz, Premtim Sahitaj+5 more|arXiv (Cornell University)|Jun 8, 2020

Software Engineering Research参考文献 25被引用数 12

ひとこと要約

本論文は、ドイツ語および英語のテキストを、主に主張・根拠・主要主張の段階的検出と関係予測を組み合わせたマルチステージプロセスを用いて、グラフベースの議論的表現に変換する包括的で汎用的な議論マイニングパイプラインを提示する。このアプローチは、事前に定義された議論的ディスcourseユニット（ADU）を用いる場合に特に人間アノテーションベンチマークと高い一致を示し、非構造化テキストにおいて新たな議論的関係を同定する応用性を示している。

ABSTRACT

This paper targets the automated extraction of components of argumentative information and their relations from natural language text. Moreover, we address a current lack of systems to provide complete argumentative structure from arbitrary natural language text for general usage. We present an argument mining pipeline as a universally applicable approach for transforming German and English language texts to graph-based argument representations. We also introduce new methods for evaluating the results based on existing benchmark argument structures. Our results show that the generated argument graphs can be beneficial to detect new connections between different statements of an argumentative text. Our pipeline implementation is publicly available on GitHub.

研究の動機と目的

• ドイツ語および英語の任意の自然言語テキストから完全な議論的構造を生成するエンドツーエンドの議論マイニングシステムの不足に対処すること。
• 非構造化テキストをグラフベースの議論的表現に変換する、強固で普遍的に適用可能なパイプラインの開発。
• ベンチマークとしての議論的構造に基づく、生成された議論グラフの品質を評価するための新しい評価手法の導入。
• グラフベースの分析を通じて、元のテキストでは明らかでない、新たな文の間の接続を同定すること。
• 意思決定者、ジャーナリスト、研究者に対して、議論的情報を計算的にアクセス可能かつ視覚的に分析可能にする支援。

提案手法

• パイプラインは、議論的ディスコースユニット（ADU）のセグメンテーション、ADUを主張・根拠・主要主張に分類する、ADU間の関係予測という段階的な処理を経る。
• ADUは、文法的、語彙的、文脈的特徴の組み合わせを用いて特定され、分類にはマルチクラス分類器が使用される。
• ADU間の関係予測には、ペアワイズ比較、センタロイド、確率、最初の主張選択といった複数の戦略が用いられ、各戦略には設定可能なしきい値が備わる。
• 生成された議論グラフは、主要主張と有向の支持・反撃関係を明示的にサポートする拡張版のArgument Interchange Format（AIF）を用いて構築される。
• グラフ構築の評価には、人間アノテーションベンチマークとの比較においてノード一致（I-node、S-node）、主張一致（M）、エッジ一致（E）の指標が用いられる。
• パイプラインはエンドツーエンドで実装されており、GitHubで公開されており、自動的および事前に定義されたADU入力を用いた比較評価をサポートする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの議論マイニングパイプラインは、非構造化ドイツ語および英語テキストから人間アノテーション済みの議論グラフをどれほど正確に再構築できるか？
• RQ2 ADUセグメンテーションおよび関係予測の異なる手法が、生成された議論グラフの品質と一貫性にどのように影響を与えるか？
• RQ3 生成された議論グラフは、元のテキストでは明らかでない、非自明な文の間の接続を明らかにできるか？
• RQ4 パイプラインは、均質的エッセイと異種の議論的コーパスといった多様なテキストタイプに対してどれほど頑健か？
• RQ5 事前に定義されたADUの使用が、最終的な議論グラフ構造の信頼性と一致度をどれほど向上させるか？

主な発見

• PE 18コーパスにおいて、パイプラインはI-node一致度0.799を達成し、議論的ディスコースユニットへのテキストセグメンテーションにおいて強力な性能を示した。
• PE 18コーパスにおいて、「First」手法を用いた場合、主要主張一致度は0.250に達したが、全体的な値は低く、仮説H2は棄却された。
• エッジ一致度は全体的に低く（例：PE 18における𝔈ₑ₂ₑ = 0.130）、関係予測の課題を示し、仮説H4の棄却に繋がった。
• 事前に定義されたADUを用いることで、エッジ一致度が著しく向上（𝔼ₚᵣₑₛₑₜ = 0.274）し、I-node一致度は高い水準を維持した。これにより、仮説H5の受容が裏付けられた。
• 本アプローチは、人間のアノテーションの単なる再現を超えて、新たな接続の同定に価値を示した。
• パイプラインは、PEのような均質的データセットでは高い一致度スコアを示した一方、ReCAPのような異種のデータセットではやや低いスコアを示したが、全体としての頑健性が確認された。