[論文レビュー] Crowdsourcing Argumentation Structures in Chinese Hotel Reviews

Mengxue Li, Shiqiang Geng+3 more|arXiv (Cornell University)|May 5, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 16被引用数 4

ひとこと要約

本稿では、自信スコアを含む新しいクラスタリングベースの集約手法を用いて、クラウドソーシングにより構築された、中国語のホテルレビュー向けの最初の議論的コーパスを提示する。拡張された「前提―主張」型議論モデルを導入し、最先端の英語コーパスと同等のアノテーション品質を達成した。本研究では、低リソース言語における議論抽出研究を支援するため、データセットを公開した。

ABSTRACT

Argumentation mining aims at automatically extracting the premises-claim discourse structures in natural language texts. There is a great demand for argumentation corpora for customer reviews. However, due to the controversial nature of the argumentation annotation task, there exist very few large-scale argumentation corpora for customer reviews. In this work, we novelly use the crowdsourcing technique to collect argumentation annotations in Chinese hotel reviews. As the first Chinese argumentation dataset, our corpus includes 4814 argument component annotations and 411 argument relation annotations, and its annotations qualities are comparable to some widely used argumentation corpora in other languages.

研究の動機と目的

• 中国語のような低リソース言語における顧客レビューのための、大規模かつ高品質な議論コーパスの不足に対処すること。
• 中国語のホテルレビューにおける議論構造のアノテーションにクラウドソーシングを効果的に適用できるか、その実現可能性と有効性を調査すること。
• 日常的でユーザー生成のレビューにふさわしい推論をよりよく捉えるために、古典的な前提―主張構造を拡張した新しい議論モデルの開発。
• 矛盾を解消し、ラベルに自信スコアを割り当てるクラスタリングベースのアノテーション集約手法の設計と評価。
• 今後の議論抽出およびNLP研究を支援するため、公開可能で高品質な議論コーパスのリリース。

提案手法

• 411件の中国語ホテルレビューから抽出した4,814文に対して、クラウドソーシングを用いて議論的要素と関係のアノテーションを収集した。
• 主な主張、主張、前提、PSIC（潜在的支援的暗黙の主張）、非議論的（NA）のカテゴリを含む拡張された議論モデルを提案した。
• アノテーターの誤りや一貫性の欠如を低減するためのアノテーションガイドラインと品質管理メカニズムを設計した。
• 複数のアノテーションを1つのアイテムに対して集約するためにクラスタリングアルゴリズムを適用し、矛盾を解消し、ラベルの信頼性を推定した。
• アノテーション品質の評価に、加重カッパ（κ）およびフレイスのカッパ（π）の間アノテーター一致度（IRA）指標を用いた。
• 信頼性を確保するため、高い一致度（αU ≥ 0.7）を示す「議論的でない」文を選別し、誤差分析には誤り確率行列（CPM）を用いた。

実験結果

リサーチクエスチョン

• RQ1 議論的タスクが議論的であるにもかかわらず、中国語の顧客レビューにおける議論構造のアノテーションにクラウドソーシングを効果的に適用できるか？
• RQ2 提案された議論モデルは、日常的でユーザー生成のホテルレビューにおける推論構造をどれほどうまく捉えられるか？
• RQ3 クラスタリングベースの集約手法は、議論アノテーションにおける矛盾をどれほど効果的に解消し、信頼性を向上させられるか？
• RQ4 得られたコーパスのアノテーション品質は、他の言語における既存の最先端コーパスと比べてどの程度か？
• RQ5 アノテーションクラスタリングから導出された自信スコアは、個々のアノテーションの議論の度合いを評価するのにどのように役立つか？

主な発見

• コーパスには4,814件の議論的要素アノテーションと411件の議論的関係アノテーションが含まれており、これは公開済みの中国語議論コーパスとしては初のものである。
• 高い間アノテーター一致度を達成しており、ラベルタイプごとにフレイスのカッパ（π）スコアは0.728から0.918の範囲にあり、広く使われている英語コーパスと同等の水準であった。
• クラスタリングベースの集約手法は、アノテーションの矛盾を効果的に解消し、自信スコアを生成した。特に「主張」では最高の一致度（π = 0.918）を示し、「主な主張」では中程度の一致度（π = 0.728）を示した。
• 「議論的でない」文ペアのうち5％しか関係がアノテートされておらず、関係の密度が低いため、このサブセットでは関係の集約処理を実施しなかった。
• 簡単なレビューのコーパスでは、PSICとNAラベルの混同が顕著であり、候補リストがない状態での暗黙の主張の特定に曖昧さがあることが主な要因であった。
• 最終的なコーパスは124.16.136.215にて公開された。これにより、低リソース言語における議論抽出研究が促進される。