[論文レビュー] On Analyzing Annotation Consistency in Online Abusive Behavior Datasets

Rabiul Awal, Rui Cao+2 more|arXiv (Cornell University)|Jun 24, 2020

Hate Speech and Cyberbullying Detection参考文献 9被引用数 10

ひとこと要約

本稿は、複数の分類器を用いて意見が分かれるツイートを特定し、その後類似した意味的コンテンツを持つツイートを検索することで、オンラインいじめ行動データセットにおけるアノテーションの不一致を検出する2段階の分析フレームワークを提案する。研究では、特にFOUNTAデータセットにおいて同一のリツイートが不一致にラベル付けされていることから、ハトー スピーチ研究におけるデータセットの信頼性が損なわれていることが明らかになった。

ABSTRACT

Online abusive behavior is an important issue that breaks the cohesiveness of online social communities and even raises public safety concerns in our societies. Motivated by this rising issue, researchers have proposed, collected, and annotated online abusive content datasets. These datasets play a critical role in facilitating the research on online hate speech and abusive behaviors. However, the annotation of such datasets is a difficult task; it is often contentious on what should be the true label of a given text as the semantic difference of the labels may be blurred (e.g., abusive and hate) and often subjective. In this study, we proposed an analytical framework to study the annotation consistency in online hate and abusive content datasets. We applied our proposed framework to evaluate the consistency of the annotation in three popular datasets that are widely used in online hate speech and abusive behavior studies. We found that there is still a substantial amount of annotation inconsistency in the existing datasets, particularly when the labels are semantically similar.

研究の動機と目的

• オンラインいじめ行動データセットにおけるアノテーションの不一致という深刻な課題に対処することにより、ハトー スピーチ検出モデルの信頼性を損なう要因を軽減すること。
• 既存のデータセットにおいて意見が分かれる可能性のあるツイートを特定する体系的なフレームワークを開発すること。
• WZ、DT、FOUNTAの3つの広く使われているデータセットにおけるアノテーション品質を実証的に評価すること。
• 意味的類似性とラベルの曖昧さが、特にハトー とオフensiveのような類縁ラベルにおいてアノテーションの信頼性に与える影響を明らかにすること。
• 将来的な研究におけるデータ前処理とモデル学習の改善を支援するため、不一致を考慮したアノテーション済みデータセットを研究者に提供すること。

提案手法

• 各データセットに対して、5つの多様なテキスト分類器のアンサンブルを学習し、ツイートのラベルを予測することで、意見が分かれるツイートを特定する。
• 投票メカニズムを用いて、半数以上の分類器によって誤分類されたツイートを「意見が分かれる（contentious）」とマークし、ラベル付けの曖昧さの兆候とみなす。
• 意味的埋め込みの類似度に基づく検索エンジンを用いて、各意見が分かれるツイートに最も類似したツイートを検索する。
• 各意見が分かれるツイートのラベルと、その最も類似した検索結果のラベルを比較することで、アノテーションの不一致行列を構築する。
• 意見が分かれるツイートとその最も類似したツイートのラベルが異なる場合に不一致をフラグ付けし、アノテーションエラーの可能性を示す。
• 特にFOUNTAデータセットにおけるリツイートが異なるラベルでラベル付けされている事例に注目し、代表的なケースを手動で検証する。

実験結果

リサーチクエスチョン

• RQ1 WZ、DT、FOUNTAのような広く使われているオンラインいじめ行動データセットにおいて、どの程度アノテーションの不一致が存在するのか。
• RQ2 ラベル間の意味的類似性（例：ハトー とオフensive）が、アノテーションの不一致にどのように寄与しているのか。
• RQ3 同一またはほぼ同一のリツイートが、特にFOUNTAデータセットにおいてラベル付けの不一致を引き起こす役割を果たすのか。
• RQ4 分類器ベースの投票メカニズムは、曖昧さによって誤ってラベル付けされる可能性があるとされる意見が分かれるツイートを効果的に特定できるのか。
• RQ5 分析されたデータセットにおいて、ラベルの種別（例：ハトー 、アブユーシブ、オフensive）ごとに不一致の度合いにどのような差が生じるのか。

主な発見

• FOUNTAデータセットは、最も高いレベルのアノテーション不一致を示しており、758件の意見が分かれるアブユーシブなツイートについて、最も類似したツイートが「ノーマル」とラベル付けされている。
• FOUNTAデータセットでは、10％以上のツイートがリツイートであり、その中で同一またはほぼ同一のツイートが複数のアノテーターによって異なるラベルでラベル付けされている。
• WZデータセットにおいては、意見が分かれると特定された1,407件のセクスタイプのツイートのうち745件について、最も類似したツイートが「ニーザー」とラベル付けされており、誤ラベル付けの可能性がある。
• DTデータセットでは、1,089件の意見が分かれるハトー スピーチのツイートのうち842件について、最も類似したツイートが「オフensive」とラベル付けされており、ハトー とオフensiveのコンテンツに混乱が生じていることが示された。
• 同じリツイートが1つのケースでは「ハトー」とラベル付けされ、別のケースでは「ノーマル」とラベル付けされている具体的な事例が同定され、FOUNTAのアノテーション戦略に深刻な欠陥が存在することが露呈された。
• 分析フレームワークは、不一致を効果的に検出し、定量的に評価できており、ラベルの曖昧さと意味的類似性がアノテーションの信頼性に顕著に影響を与えることが示された。