[論文レビュー] Impact of Sentiment Detection to Recognize Toxic and Subversive Online Comments

Éloi Brassard-Gourdeau, Richard Khoury|arXiv (Cornell University)|Dec 4, 2018

Hate Speech and Cyberbullying Detection参考文献 9被引用数 9

ひとこと要約

本稿では、キーワードベースのフィルタを回避するために有毒な単語を変更するサブバーシブなユーザーに対抗するため、感情検出を毒性検出システムに統合することを提案する。実世界のデータセットで訓練されたニューラルネットワークを用いて、感情情報の統合がサブバージョン下で最大3%の精度向上をもたらすことを示しており、キーワードよりも感情が隠しにくいことを確認した。

ABSTRACT

The presence of toxic content has become a major problem for many online communities. Moderators try to limit this problem by implementing more and more refined comment filters, but toxic users are constantly finding new ways to circumvent them. Our hypothesis is that while modifying toxic content and keywords to fool filters can be easy, hiding sentiment is harder. In this paper, we explore various aspects of sentiment detection and their correlation to toxicity, and use our results to implement a toxicity detection tool. We then test how adding the sentiment information helps detect toxicity in three different real-world datasets, and incorporate subversion to these datasets to simulate a user trying to circumvent the system. Our results show sentiment information has a positive impact on toxicity detection against a subversive user.

研究の動機と目的

• オンラインコメントにおける感情と毒性の相関関係を調査すること。
• 語彙リストと文脈的特徴を用いた感情検出ツールを開発し、毒性検出システムに統合すること。
• 特にサブバージョン下での状況において、感情情報が毒性検出のパフォーマンスを向上させるかどうかを評価すること。
• 有毒キーワードを同音異義語やスペルミスに置き換えることでサブバージョン行動をシミュレートし、システムの耐性をテストすること。
• 多様な実世界のデータセット（Kaggle, Wikipedia, Reddit）における感情の毒性検出への影響を評価すること。

提案手法

• 複数の感情語彙リスト（SentiS, VADER, SentiStrength）と、語の頻度や否定の取り扱いなどの文脈的特徴を用いて感情検出システムを構築した。
• テキスト埋め込みと感情スコアを入力特徴として用い、深層ニューラルネットワークを訓練して毒性検出を実施した。
• 191の一般的な有毒キーワードを同音異義語やスペルミスに置き換える置換リストを適用することで、サブバージョンユーザーをシミュレートした（例：'kill' → 'kilt'）。
• 3つのデータセット（Kaggle, Wikipedia, Reddit）で実験を行い、70%を訓練、20%を検証、10%をテストに使用し、各データセットで3回のランダム実行を実施した。
• 感情入力を有する・なしの両方の条件下で、クリーン状態とサブバージョン状態の両方で検出精度を比較した。
• 各コーパスにおける有毒メッセージ数に合わせて、非有毒メッセージをアンダーサンプリングすることでバランスの取れたデータセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 オンラインコメントにおける感情と毒性の間に有意な相関関係が存在するか？
• RQ2 感情情報は、標準的およびサブバージョン状況下での毒性検出の精度を向上させることができるか？
• RQ3 有毒ユーザーがキーワードを変更してキーワードベースのフィルタを回避する状況で、感情ベースの検出はどの程度有効か？
• RQ4 毒性-感情相関関係が異なるデータセットにおいて、感情情報によるパフォーマンス向上の差は顕著か？
• RQ5 キーワードベースのシステムがサブバージョンによって失敗した場合、感情検出は毒性検出を支援できるか？

主な発見

• 否定的でない感情と毒性の間に明確な相関関係が存在し、感情スコアがすべての3つのデータセットで毒性ラベルと強く一致した。
• クリーン状態（サブバージョンなし）では、感情情報の統合により平均で0.5%の精度向上が見られたが、Redditでは感情-毒性相関が弱いため、わずかな向上（0.1%）にとどまった。
• サブバージョン状況下では、65–82%の有毒メッセージが同音異義語に置き換えられていたが、感情情報を含まないモデルでは精度が著しく低下した（例：Kaggleで93.2%から77.2%に低下）。一方、感情情報を含めると精度が向上した。
• サブバージョン下のKaggleデータセットでは、感情情報の追加により検出精度が2.9%向上（77.2%から80.1%）し、Wikipedia（81.4%から82.0%）およびReddit（83.0%から83.9%）でも同様の向上が観察された。
• 感情情報によるパフォーマンス向上は、主にサブバージョン状況下で顕著であり、語彙的コンテンツよりも感情がごまかしに強いことが確認された。
• 感情情報がなくても、モデルは高いベースライン精度（例：クリーン状態のKaggleで93.2%）を達成しており、これは深層学習モデルの文字レベル符号化の強さとノイズ耐性によるものと推察される。