[論文レビュー] Towards a Benchmark of Natural Language Arguments

Elena Cabrio, Serena Villata|arXiv (Cornell University)|May 5, 2014

Multi-Agent Systems and Negotiation参考文献 13被引用数 3

ひとこと要約

本稿では、オンラインディベートおよび映画『12怒りの陪審員』からの自然言語的議論の2つの手作業によるアノテート済みデータセットを紹介し、テクスト帰結（textual entailment）を用いて支援関係および攻撃関係を同定する。得られた二極性の議論グラフは、議論システムのベンチマークに適しており、高いアノテーター間一致度（kappa = 0.74）と、現実世界の文脈で推論および可視化ツールの評価に適した構造的複雑性を有する。

ABSTRACT

The connections among natural language processing and argumentation theory are becoming stronger in the latest years, with a growing amount of works going in this direction, in different scenarios and applying heterogeneous techniques. In this paper, we present two datasets we built to cope with the combination of the Textual Entailment framework and bipolar abstract argumentation. In our approach, such datasets are used to automatically identify through a Textual Entailment system the relations among the arguments (i.e., attack, support), and then the resulting bipolar argumentation graphs are analyzed to compute the accepted arguments.

研究の動機と目的

• 自然言語処理分野における議論システムの評価に向け、現実的で現実世界のデータセットが不足しているという問題に対処する。
• 関係認識と議論受容性の推論を両方支援する自然言語の議論のベンチマークを構築する。
• 実際のディベートおよび映画台本からの物語的議論に基づく議論ツールのテストを可能にする。
• 人工的な例から脱却し、自然な言語の対話に見られる複雑で現実的な議論構造を模倣する。
• 抽象的議論が、内部の対話的関係を持つネストされた議論をモデル化する際の限界を検討する。

提案手法

• オンラインディベート（Debatepedia/ProCon）からおよび映画『Twelve Angry Men』から2つのデータセットを構築した。
• 支援関係または攻撃関係を同定するために、テキスト帰結判断（帰結、矛盾、中立）を用いて議論ペアをアノテートした。
• 40ペアのサブセットについてCohenのkappa係数（0.74）を用いてアノテーター間一致度を測定し、信頼性を確認した。
• アノテート済みペアから二極性の議論グラフを構築し、ノードを議論、エッジを支援（緑）または攻撃（赤）関係とした。
• 得られたグラフにおける勝利議論を計算するために受容性意味論を適用した。
• 言語学的スキルを持つアノテーターによる手作業によるアノテーションと、一貫性を確認するための自動検証を組み合わせてデータ品質を確保した。

実験結果

リサーチクエスチョン

• RQ1 現実世界のソースからの自然言語的議論を、議論ベンチマークの目的で体系的に収集・アノテートする方法は何か？
• RQ2 テキスト帰結システムは、自然言語の議論における支援関係および攻撃関係をどの程度正確に同定できるか？
• RQ3 現実世界の議論グラフは、抽象的モデルと比較してどの程度の構造的複雑性を示すか？
• RQ4 既存の議論フレームワークは、内部構造および部分議論を持つ議論を効果的に処理できるか？
• RQ5 自然言語における議論関係の手作業アノテーションの信頼性はどの程度で、このようなデータセットを検証するための指標は何か？

主な発見

• Debatepedia/ProConデータセットでは1つの議論グラフあたり平均9つのリンクを有するが、『Twelve Angry Men』データセットでは平均27のリンクを有しており、より高い構造的複雑性を示している。
• 関係ラベル付けにおけるアノテーター間一致度はCohenのkappa係数0.74で中程度の水準に達しており、アノテーションプロセスの信頼性が確認された。
• 両データセットから得られた議論グラフはすべて非巡回的であり、主に再確認チェーン（reinstatement chains）から構成されており、理論的議論でしばしば想定されるほど複雑ではない構造であることが示された。
• これらのデータセットは機械可読形式で公開されており、議論ツールや推論システムの直接的なテストに使用可能である。
• 本研究では、抽象的議論が内部構造を持つ議論をモデル化する際の限界が明らかになった。これにより、今後の研究として構造的議論データセットの開発が促された。
• 手作業によるアノテーションは高品質なデータを確保するために不可欠であったが、今後の研究では自動抽出と人間による検証を組み合わせた手法が有効であると考えられる。