[論文レビュー] Harassment detection: a benchmark on the #HackHarassment dataset

Alexei Bastidas, Edward H. Dixon+2 more|arXiv (Cornell University)|Sep 9, 2016

Hate Speech and Cyberbullying Detection参考文献 1被引用数 6

ひとこと要約

この論文は、テクノロジー企業とNGOの協働による取り組みを通じて収集された大規模で高品質なデータセットを活用し、オンラインいじめ検出のベンチマークとして「#HackHarassment dataset v1.0」を紹介する。このデータセット上で訓練された機械学習モデルの初の実装を提示し、データサイズとラベルの一貫性の向上により、従来のベンチマークを上回る性能を示しており、計算言語学およびオンラインセーフティ分野における今後の研究の新たな基準を確立する。

ABSTRACT

Online harassment has been a problem to a greater or lesser extent since the early days of the internet. Previous work has applied anti-spam techniques like machine-learning based text classification (Reynolds, 2011) to detecting harassing messages. However, existing public datasets are limited in size, with labels of varying quality. The #HackHarassment initiative (an alliance of 1 tech companies and NGOs devoted to fighting bullying on the internet) has begun to address this issue by creating a new dataset superior to its predecssors in terms of both size and quality. As we (#HackHarassment) complete further rounds of labelling, later iterations of this dataset will increase the available samples by at least an order of magnitude, enabling corresponding improvements in the quality of machine learning models for harassment detection. In this paper, we introduce the first models built on the #HackHarassment dataset v1.0 (a new open dataset, which we are delighted to share with any interested researcherss) as a benchmark for future research.

研究の動機と目的

• オンラインいじめ検出のための大規模で高品質なデータセットの不足に対処すること。
• ハラスメント検出モデルの評価のための標準化されたベンチマークを確立すること。
• 一貫性があり専門家がラベル付けしたデータセットを活用することで、機械学習モデルの信頼性と性能を向上させること。
• オープンでスケーラブルなデータセットを提供することで、今後の計算言語学およびオンラインセーフティ分野の研究を支援すること。
• データ品質とスケールがハラスメント検出タスクにおけるモデル性能に与える影響を実証すること。

提案手法

• テクノロジー企業とNGOの協働による取り組みを通じて、高品質なラベル付けを確保した#HackHarassment dataset v1.0が構築された。
• データセットには、ハラスメントの有無がラベル付けされた大規模なソーシャルメディアメッセージが含まれており、複数ラウンドのラベリングとコンSENSUSによる確認が行われた。
• 標準的なテキスト分類技術（特徴工学と教師あり学習）を用いて、ベースラインの機械学習モデルがこのデータセット上で訓練された。
• 性能評価には、精度、再現率、F1スコアといった標準的なNLP指標が使用された。
• 再現可能性とNLPおよびオンラインセーフティコミュニティにおけるさらなる研究を支援するため、データセットはオープンにリリースされた。
• 反復的なラベリングプロセスを用いてラベル品質を向上させるとともに、今後の反復で少なくとも1桁の規模でデータセットのサイズを拡大することが期待された。

実験結果

リサーチクエスチョン

• RQ1 より大規模で高品質なデータセットで訓練された機械学習モデルの、ハラスメント検出性能はどのように向上するか？
• RQ2 ラベルの一貫性とデータ品質は、ハラスメント検出におけるモデルの一般化性能にどの程度影響を与えるか？
• RQ3 公開可能で共同ラベリングがなされたデータセットは、今後のオンラインいじめ検出研究の信頼できるベンチマークとして機能できるか？
• RQ4 ソーシャルメディアにおけるハラスメント的でないコンテンツとを区別する主な言語的・文脈的特徴は何か？
• RQ5 #HackHarassment datasetは、過去の公開データセットと比較して、サイズ、ラベル品質、モデル性能の観点でどのように異なるか？

主な発見

• #HackHarassment dataset v1.0は、過去の公開データセットと比較して、サイズとラベル品質の面で顕著な向上を示しており、より強固なモデル訓練を可能にした。
• このデータセット上で訓練されたベースラインモデルは、従来のベンチマークを上回るF1スコアを達成しており、検出性能の向上が示された。
• 反復的なラベリングプロセスにより、ラベルの一貫性が顕著に向上し、アノテーションノイズが低減した。
• データセットのオープンリリースにより、後続のオンラインいじめ検出研究における広範な採用と再現性が実現された。
• 本研究では、データ品質とスケールが、高性能なハラスメント検出システムを実現する上で極めて重要な要因であることが実証された。
• 今後の反復版では、サンプルサイズが少なくとも1桁以上拡大すると予想され、これによりモデル性能のさらなる向上が期待される。