[論文レビュー] Automatic Argument Quality Assessment -- New Datasets and Methods

Assaf Toledo, Shai Gretz+7 more|arXiv (Cornell University)|Sep 3, 2019

Software Engineering Research参考文献 24被引用数 6

ひとこと要約

本論文は、品質評価のための自動的かつ大規模なデータセットとして、6.3k件の能動的収集および明示的なアノテーションが施された議論、および14k件の対比較を備えた新規データセットを紹介する。このデータセットを用いて、BERTに基づくニューラルモデルを提案し、議論ペア分類において最先端の性能を達成するとともに、議論ランク付けにおいても競争力のある結果を示した。これは、タスクの主観的性質にもかかわらず、高いアノテーションの一貫性を示している。

ABSTRACT

We explore the task of automatic assessment of argument quality. To that end, we actively collected 6.3k arguments, more than a factor of five compared to previously examined data. Each argument was explicitly and carefully annotated for its quality. In addition, 14k pairs of arguments were annotated independently, identifying the higher quality argument in each pair. In spite of the inherent subjective nature of the task, both annotation schemes led to surprisingly consistent results. We release the labeled datasets to the community. Furthermore, we suggest neural methods based on a recently released language model, for argument ranking as well as for argument-pair classification. In the former task, our results are comparable to state-of-the-art; in the latter task our results significantly outperform earlier methods.

研究の動機と目的

• 自動的議論品質評価のための高品質で大規模なデータセットの不足に対処すること。
• 大規模かつ制御されたデータ収集ときめ細かいクリーニング手順を用いて、議論品質アノテーションの主観性を低減すること。
• 従来手法を上回る性能を発揮する議論ペア分類と、競争力のある性能を達成する議論ランク付けを実現するニューラルモデルの開発。
• 個々の議論品質スコアと対比較の間の関係を調査すること。
• 今後の議論品質評価研究を支援するため、データセットとモデルを公開すること。

提案手法

• 明確なガイドラインを設けた専用のユーザインタフェースを用いて6.3k件の議論を収集し、制御的かつ高品質なデータ収集を実現した。
• 全6.3k件の議論に対して、[0,1]スケールでの明示的品質スコアをアノテートし、個々の議論の品質評価を可能にした。
• 14k件の議論ペアをアノテートし、それぞれのペアでより品質の高い議論を特定した。これにより、相対的品質分類が可能になった。
• 低品質な寄稿物およびアノテーションをフィルタリングするクリーニング手順を適用し、最終評価用に5.3k件の議論と9.1k件のペアを取得した。
• 微調整されたBERTベースのアーキテクチャを用いたニューラルモデルを提案し、ペア内のどちらの議論がより品質が高いかを予測する議論ペア分類に用いた。
• 同じBERTベースのアーキテクチャを用いて、個々の議論の品質スコアを予測する議論ランク付け用のニューラルモデルを提案した。

実験結果

リサーチクエスチョン

• RQ1 明示的な個別議論品質アノテーションと対比較アノテーションの両者の一貫性は、どのように比較されるか？
• RQ2 新規データセットで訓練されたニューラルモデルは、従来手法に比べて議論ペア分類および議論ランク付けの両方で優れた性能を発揮するか？
• RQ3 個別スコアに基づくアノテーション方式と対比較に基づく方式との整合性はどの程度か？
• RQ4 ニューラルモデルの失敗モードは何か。特に、言い回しの質や話題外の内容に関してはどのような課題があるか？
• RQ5 小さな差がある場合に、個別品質スコアから対比較アノテーションを推定できるか？

主な発見

• 新規データセットであるIBM-ArgQ-6.3kArgsには、明示的な品質スコアが付与された6.3k件の議論が含まれており、UKPRankなどの従来データセットよりも5倍以上大きい。
• 対比較データセットであるIBM-ArgQ-14kPairsには、相対的品質ラベルが付与された14k件の議論ペアが含まれており、分類モデルの堅牢な評価が可能である。
• 提案された議論ペア分類モデルは、シアン型ネットワークを用いた従来手法を大幅に上回り、IBM-ArgQ-9.1kPairsサブセットにおいて顕著な性能向上を示した。
• 議論ランク付けモデルは、最先端の手法と同等の性能を達成しており、個別品質スコア評価方式の有効性を裏付けた。
• 議論品質の主観的性質にもかかわらず、個別評価と対比較評価の両方のアノテーション方式がアノテーター間で高い一貫性を示した。
• 議論の説得力が高くても、表現の質が低いかスペルミスがある場合、モデルは頻繁に失敗する。また、話題外または誘発的な議論に対しても苦戦を強いられる。