[論文レビュー] Machine Learning Suites for Online Toxicity Detection

David Noever|arXiv (Cornell University)|Oct 3, 2018

Hate Speech and Cyberbullying Detection参考文献 9被引用数 29

ひとこと要約

この論文は、Jigsaw Wikipediaコメントデータセット上で19のアルゴリズムファミリーにまたがる62種類の機械学習分類器を評価し、オンラインでの有毒コンテンツを特定する。木構造ベースのモデルは解釈性の高いルールと特徴量の重要度順位を提供するが、28種類の構文、感情、感情、外れ値辞書の中では、単純な不適切語彙リストが最も予測力が高い特徴量である。

ABSTRACT

To identify and classify toxic online commentary, the modern tools of data science transform raw text into key features from which either thresholding or learning algorithms can make predictions for monitoring offensive conversations. We systematically evaluate 62 classifiers representing 19 major algorithmic families against features extracted from the Jigsaw dataset of Wikipedia comments. We compare the classifiers based on statistically significant differences in accuracy and relative execution time. Among these classifiers for identifying toxic comments, tree-based algorithms provide the most transparently explainable rules and rank-order the predictive contribution of each feature. Among 28 features of syntax, sentiment, emotion and outlier word dictionaries, a simple bad word list proves most predictive of offensive commentary.

研究の動機と目的

• オンラインの攻撃的コメントを検出するための広範な機械学習分類器を体系的に評価すること。
• Jigsaw Wikipediaコメントデータセットからの特徴量を用いて、分類器の正解率と実行時間の観点から比較すること。
• 構文、感情、感情、外れ値辞書のうち、どの特徴量タイプが毒性を最も強く予測するかを特定すること。
• 特に特徴量の寄与度とルールの透明性という観点から、モデルの解釈性を評価すること。
• 複雑な言語的または感情ベースの特徴量が、単純な語彙的特徴量よりも毒性の検出で優れているかどうかを特定すること。

提案手法

• 本研究では、ロジスティック回帰、SVM、ランダムフォレスト、勾配ブースティング、ニューラルネットワークを含む19のアルゴリズムファミリーに属する62種類の分類器を用いる。
• 特徴量はJigsawデータセットから抽出され、構文、感情、感情、外れ値語彙辞書をカバーしており、合計28の異なる特徴量が含まれる。
• 性能は主に正解率を指標として評価され、分類器の性能を比較するための統計的有意性検定が実施される。
• 実行時間は、リアルタイムでのオンラインモニタリング応用を想定して、計算効率を評価するために測定される。
• 木構造ベースのモデルは、特徴量の重要度順位と透明な意思決定ルールを提供する能力について分析される。
• アブレーション解析により、個々の特徴量タイプの予測力が評価され、単純な不適切語彙リストを含むものも含まれる。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習分類器ファミリーが、Jigsawデータセットにおける攻撃的オンラインコメントの検出で最高の正解率を達成するか？
• RQ2 異なる分類器の実行時間はどのように比較されるか。また、リアルタイムでのオンライン攻撃的発言検出に適しているのはどれか？
• RQ3 構文、感情、感情、外れ値語彙辞書のうち、どの特徴量タイプが毒性の予測に最も寄与するか？
• RQ4 木構造ベースのモデルは、毒性予測のための解釈性があり、ルールに基づいた説明をどの程度提供できるか？
• RQ5 単純な不適切語彙リストは、より複雑な言語的または感情ベースの特徴量よりも、攻撃的コメントの予測で優れているか？

主な発見

• ランダムフォレストや勾配ブースティングなどの木構造ベースのアルゴリズムは、明確な特徴量の重要度順位を提供するため、最も透明性が高く解釈可能なモデルを提供する。
• 評価された28の特徴量の中で、単純な不適切語彙リストが、攻撃的コメントの予測において最も予測力が高いことが判明した。
• 分類器間で統計的に有意な性能差が確認され、勾配ブースティングモデルが高正解率を達成した。
• 実行時間はアルゴリズムによって大きく異なるが、木構造ベースのモデルは速度と性能のバランスが良好であった。
• 感情や感情の特徴量は、語彙的および構文的特徴量と比較して、予測力が限定的であった。
• 結果から、単純で解釈可能なモデルと基本的な語彙的特徴量を用いることで、高い予測性能を達成できることが示唆された。