[論文レビュー] Creating a Domain-diverse Corpus for Theory-based Argument Quality Assessment

Lily Ng, Anne Lauscher+2 more|arXiv (Cornell University)|Nov 3, 2020

Software Engineering Research被引用数 8

ひとこと要約

本稿では、議論の妥当性（AQ）を理論的枠組みに基づき4つの次元（的確性、効果性、妥当性、全体的質）で評価した、5,285件の英語議論を含む、初めての大規模かつドメインに多様なGAQCorpusを紹介する。著者らは専門家との協働を通じて、クラウドソーシングに適した簡素化されたアノテーションガイドラインを策定し、高いアノテーター間一貫性を達成した。これにより、ディスカッション、コミュニティ型Q&Aフォーラム、製品レビューなど、非標準的ドメインにおいても信頼性が高くスケーラブルなアノテーションが可能となった。

ABSTRACT

Computational models of argument quality (AQ) have focused primarily on assessing the overall quality or just one specific characteristic of an argument, such as its convincingness or its clarity. However, previous work has claimed that assessment based on theoretical dimensions of argumentation could benefit writers, but developing such models has been limited by the lack of annotated data. In this work, we describe GAQCorpus, the first large, domain-diverse annotated corpus of theory-based AQ. We discuss how we designed the annotation task to reliably collect a large number of judgments with crowdsourcing, formulating theory-based guidelines that helped make subjective judgments of AQ more objective. We demonstrate how to identify arguments and adapt the annotation task for three diverse domains. Our work will inform research on theory-based argumentation annotation and enable the creation of more diverse corpora to support computational AQ assessment.

研究の動機と目的

• 理論的根拠に基づく議論の質（AQ）評価のための大規模かつドメインに多様なコーパスの欠如に対処すること。
• ウェブディスカッション、コミュニティ型Q&A、製品レビューなど非標準的ドメインにおけるAQの信頼性とスケーラビリティを確保したアノテーションを可能にすること。
• 複雑な理論的根拠に基づくAQ分類法をクラウドワーカーが使用できるように簡素化・適応させつつ、理論的整合性を維持すること。
• クラウドソーシングを用いた理論的根拠に基づくAQアノテーションにおいて、高いアノテーター間一貫性が達成可能であることを示すこと。
• 今後の計算的議論の質評価およびライティング支援システム分野の研究基盤を提供すること。

提案手法

• 議論理論に基づく理論的AQ分類法を開発し、的確性、効果性、妥当性、全体的質の4つの次元で構造化した。
• 訓練を受けた言語学者と協働し、クラウドワーカー向けにガイドラインとタスク設計を簡素化することで、理論的一致性を保ちつつ明確性と信頼性を向上させた。
• ウェブディスカッション、コミュニティ型Q&Aフォーラム（CQA）、製品レビューの3つの多様なドメインから議論を収集した。
• エキスパートのキャリブレーション、ガイドラインの反復的改善、品質管理を施したクラウドベースのラベル付けを含む、段階的なアノテーションパイプラインを採用した。
• ドメインおよび次元ごとにアノテーター間一貫性を検証するため、Fleiss’ kappaなどの指標を用いた。
• 最終的なコーパス、GAQCorpusをGitHub経由で研究利用向けに公開した。

実験結果

リサーチクエスチョン

• RQ1 非標準的かつドメインに多様な環境下で、理論的根拠に基づく議論の質アノテーションをクラウドソーシングで信頼性高く収集できるか？
• RQ2 複雑で理論的根拠に基づくAQ分類法を、クラウドワーカーが理解可能な形に簡素化できるか、かつ理論的整合性を損なわないか？
• RQ3 エキスパートとクラウドワーカーとの間で、多様なAQ次元のアノテーションにおいてどの程度の一致が達成できるか？
• RQ4 ディスカッション、Q&A、レビューといった異なるドメインにおいて、議論の質の判断はどのように変化するか？
• RQ5 低スコアの議論は、推論、構造、関連性のどの分野においても共通の欠陥を示すのか、その程度はどの程度か？

主な発見

• GAQCorpusは、理論的根拠に基づくAQの4次元で評価された5,285件の議論を含み、同種の最大かつ唯一のドメインに多様なコーパスである。
• エキスパートとクラウドワーカーの間で、先行研究で報告された値を上回るアノテーター間一貫性が達成され、Fleiss’ kappa値は高い信頼性を示した。
• 議論のスタイルや構造が異なるにもかかわらず、ディスカッション、CQAフォーラム、製品レビューの各ドメインで、アノテーションプロセスが極めて一貫性を保った。
• 低スコアの議論は、反論への対応不足、関連性のない個人の体験談、根拠のない主張といった欠陥を共通して示した。
• コーパスの分析から、妥当性はトーンや倫理的配慮に特に敏感であることが判明し、冗談や非難の言動はスコアを著しく低下させることが分かった。
• エキスパートが検証した簡素化されたガイドラインに従えば、理論的根拠に基づくAQアノテーションはスケーラブルに実行可能であることが示された。