[論文レビュー] Six Attributes of Unhealthy Conversation

Ilan Price, Jordan Gifford-Moore+7 more|arXiv (Cornell University)|Oct 14, 2020

Hate Speech and Cyberbullying Detection参考文献 28被引用数 8

ひとこと要約

本論文は、6つの微妙なが、非攻撃的だが有害な会話的属性（攻撃性、敵対的態度、軽視、上から目線、皮肉、不公正な一般化）を注釈した、約44,000件のクラウドラベル付きオンラインコメントからなる大規模なデータセット「Unhealthy Comment Corpus（UCC）」を紹介する。信頼度スコアと多属性タイプロジーを用いることで、顕著な攻撃性を超えた不健康な会話の検出が向上し、微調整されたBERTモデルがクラウドワーカーの合意を上回る性能を示した。

ABSTRACT

We present a new dataset of approximately 44000 comments labeled by crowdworkers. Each comment is labelled as either 'healthy' or 'unhealthy', in addition to binary labels for the presence of six potentially 'unhealthy' sub-attributes: (1) hostile; (2) antagonistic, insulting, provocative or trolling; (3) dismissive; (4) condescending or patronising; (5) sarcastic; and/or (6) an unfair generalisation. Each label also has an associated confidence score. We argue that there is a need for datasets which enable research based on a broad notion of 'unhealthy online conversation'. We build this typology to encompass a substantial proportion of the individual comments which contribute to unhealthy online conversation. For some of these attributes, this is the first publicly available dataset of this scale. We explore the quality of the dataset, present some summary statistics and initial models to illustrate the utility of this data, and highlight limitations and directions for further research.

研究の動機と目的

• 微妙で顕著な攻撃性ではないが有害なオンライン行動を対象とした大規模かつ高品質なデータセットの不足に対処すること。
• 顕著な攻撃性を超えた「不健康な」会話的属性の包括的なタイプロジーの構築。
• 自動モデレーション、ユーザーへの注意喚起、文脈に配慮した会話品質評価に関する研究を可能にすること。
• 高品質で信頼度スコアが付与された注釈を通じて、機械学習モデルの微妙なオンライン不躾の検出性能を向上させること。
• 今後の公平性と代表性に配慮した研究を促すために、データ収集および注釈プロセスにおけるバイアスを明らかにすること。

提案手法

• クラウドワーカーがカナダのニュースサイトのコメントを、6つの不健康な会話のサブ属性（攻撃的、敵対的、軽視的、上から目線的、皮肉的、不公正な一般化）についてラベル付けした。
• 各ラベルには、アノテーターの確信度を反映する信頼度スコア（0.5〜1.0）が付与された。
• アノテーターは、限定的な人口統計データを持つプラットフォームを経由して選定され、信頼性スコアがラベルの重み付けに用いられた。
• ベースライン性能を確立するために、微調整されたBERTモデルをデータセット上で訓練および評価した。
• 再現可能性とさらなる研究を支援するため、データセットをGitHub上でオープンソースで公開した。
• 品質管理には、アノテーター間の一貫性の確認と、ラベルの一貫性の検証が含まれた。

実験結果

リサーチクエスチョン

• RQ1 多属性タイプロジーは、オンライン会話における微妙で顕著な攻撃性ではないが有害な行動を効果的に捉えられるか？
• RQ2 6つの不健康な属性が、現実のコメントデータにおいて顕著な攻撃性と、互いにどのように相関しているか？
• RQ3 微調整されたBERTのような機械学習モデルが、これらの微妙な属性を検出する際、人間の合意を上回る性能を示せるか？
• RQ4 アノテーターの人口統計的特徴および文脈の提示方法が、ラベルの信頼性とモデルの一般化にどのように影響するか？
• RQ5 実世界のモデレーションシステムの展開に影響を及ぼす可能性がある、このデータセットの主な制限および意図しないバイアスは何か？

主な発見

• UCCには約44,000件のコメントが含まれており、6つの不健康な会話的属性についてのバイナリーラベルと関連する信頼度スコアが付与されており、これは現在入手可能な中で最大級のデータセットの一つである。
• 6つの属性は顕著な攻撃性とはほとんど独立しており、不健康な会話の別個の次元を表していることが示された。
• 微調整されたBERTモデルは、クラウドワーカーの合意を上回る性能を達成した。これは、自動検出の強力な可能性を示している。
• 複雑で主観的な属性についてはアノテーター間の一貫性が低く、微妙な言語的行動に対する一貫したラベリングの難しさが浮き彫りになった。
• このデータセットは、軽視と不公正な一般化が一般的であるが、従来のデータセットではあまり文書化されていないことを明らかにした。これは、本コーパスの新規性を強調している。
• アノテーターの信頼性スコアがラベルの信頼性を向上させた。これは、主観的なタスクにおけるクラウドソーシングにおいて信頼度メトリクスを組み込む価値があることを示している。