[論文レビュー] Understanding and Detecting Dangerous Speech in Social Media
この論文は、これまであまり研究が進んでいなかった分野である、ソーシャルメディア上の危険な発言、特に身体的脅しを検出するためのラベル付きデータセットを提示し、機械学習モデルを開発している。最高のモデルは、59.60%のマクロF1スコアを達成し、競合するベースラインを著しく上回った。
Social media communication has become a significant part of daily activity in modern societies. For this reason, ensuring safety in social media platforms is a necessity. Use of dangerous language such as physical threats in online environments is a somewhat rare, yet remains highly important. Although several works have been performed on the related issue of detecting offensive and hateful language, dangerous speech has not previously been treated in any significant way. Motivated by these observations, we report our efforts to build a labeled dataset for dangerous speech. We also exploit our dataset to develop highly effective models to detect dangerous content. Our best model performs at 59.60% macro F1, significantly outperforming a competitive baseline.
研究の動機と目的
- ソーシャルメディアのコンテンツにおいて、危険な発言、特に身体的脅しの検出に関する研究の空白を埋めること。
- 訓練および評価用の検出モデルに使用できる、高品質な人間によるアノテーション付きの危険な発言データセットを構築すること。
- 高い効果性で危険な発言を同定できる機械学習モデルを開発・評価すること。
- 攻撃的または憎悪を示す言語の検出とは明確に区別された、危険な発言検出のベンチマークを確立すること。
提案手法
- 著者らは、危険な発言、特に身体的脅しを対象として、ソーシャルメディア投稿のデータセットを収集・整備した。
- 高品質なラベル付けを保証するため、人間によるアノテーションを採用した。
- 複数の機械学習モデル、特にディープラーニングアーキテクチャを微調整および評価するために、このデータセットを用いた。
- 最高のパフォーマンスを示したモデルは、文脈的埋め込みと分類ヘッドの組み合わせを用いて、このデータセット上で最先端の性能を達成した。
- すべてのクラスのパフォーマンスをバランスさせるために、マクロF1スコアを用いて評価を行った。
実験結果
リサーチクエスチョン
- RQ1ソーシャルメディアにおける危険な発言、特に身体的脅しとは何か、他の有害な言語形態と信頼性高く区別できるか？
- RQ2新たに作成された高品質なデータセットで訓練された機械学習モデルは、危険な発言検出においてどれほど効果的か？
- RQ3提案されたモデルの性能は、既存のベースラインと比較して、危険な発言検出においてどのように異なるか？
主な発見
- 提案されたデータセットは、攻撃的または憎悪を示す言語とは明確に分離された、信頼性の高いリソースを提供する。
- 最高のパフォーマンスを示したモデルは、マクロF1スコア59.60%を達成し、競合するベースラインを著しく上回った。
- 適切なデータとモデリングアプローチを用いることで、危険な発言検出が実現可能で測定可能であることが示された。
- 本研究は、オンラインコミュニケーションにおける身体的脅しの検出に関する今後の研究のベンチマークを確立した。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。