[論文レビュー] Hate Speech Classification Using SVM and Naive BAYES

D. C Asogwa, C. I Chukwuneke+2 more|arXiv (Cornell University)|Mar 21, 2022

Hate Speech and Cyberbullying Detection被引用数 14

ひとこと要約

この論文は、テキストデータからの特徴抽出を活用して、オンラインでの嫌がらせ発言を自動的かつ解釈可能な方法で検出できるようにする、サポートベクターマシン（SVM）およびナイーブベイズ（NB）アルゴリズムを用いた教師ありの嫌がらせ発言分類フレームワークを提案している。このアプローチは、テストセットでSVMでは99％、NBでは50％の正解率を達成し、実世界のソーシャルメディアプラットフォームへの展開に適した、高い性能とモデルの解釈可能性のバランスを実現している。

ABSTRACT

The spread of hatred that was formerly limited to verbal communications has rapidly moved over the Internet. Social media and community forums that allow people to discuss and express their opinions are becoming platforms for the spreading of hate messages. Many countries have developed laws to avoid online hate speech. They hold the companies that run the social media responsible for their failure to eliminate hate speech. But as online content continues to grow, so does the spread of hate speech However, manual analysis of hate speech on online platforms is infeasible due to the huge amount of data as it is expensive and time consuming. Thus, it is important to automatically process the online user contents to detect and remove hate speech from online media. Many recent approaches suffer from interpretability problem which means that it can be difficult to understand why the systems make the decisions they do. Through this work, some solutions for the problem of automatic detection of hate messages were proposed using Support Vector Machine (SVM) and Naïve Bayes algorithms. This achieved near state-of-the-art performance while being simpler and producing more easily interpretable decisions than other methods. Empirical evaluation of this technique has resulted in a classification accuracy of approximately 99% and 50% for SVM and NB respectively over the test set. Keywords: classification; hate speech; feature extraction, algorithm, supervised learning

研究の動機と目的

• ソーシャルメディアやコミュニティフォーラムにおけるオンラインでの嫌がらせ発言の増加する課題に対処すること。
• 手作業によるコンテンツレビューに依存しない、自動的かつスケーラブルな嫌がらせ発言検出ソリューションの開発すること。
• 多くのディープラーニングベースのアプローチに見られる主な制限である、モデルの解釈可能性の向上を図ること。
• 伝統的な機械学習モデル—SVMおよびナイーブベイズ—の嫌がらせ発言分類における性能を、正確性と解釈可能性の観点から評価すること。

提案手法

• 嫌がらせ発言検出に向けたラベル付きテキストデータを用いた教師あり学習を採用する。
• ボック・オブ・ワーズやTF-IDF表現といった標準的な自然言語処理技術を用いて、テキスト特徴量を抽出する。
• サポートベクターマシン（SVM）モデルは、学習された意思決定境界に基づき、テキストを嫌がらせ発言または非嫌がらせ発言に分類するように訓練される。
• ナイーブベイズ分類器は、条件付き確率の仮定を用いて、特徴頻度からのクラス尤度を推定する。
• 両モデルは、正確性と解釈可能性の観点から比較可能な標準化されたテストセットで評価される。
• モデル入力の品質向上を目的とした、トークン化、ストップワード除去、レムマティゼーションなどの特徴選択および前処理ステップが適用される。

実験結果

リサーチクエスチョン

• RQ1 SVM やナイーブベイズのような伝統的な機械学習モデルは、オンラインテキストからの嫌がらせ発言分類において高い正確性を達成できるか？
• RQ2 嫌がらせ発言検出において、SVM とナイーブベイズは、分類性能と解釈可能性の観点からどのように比較できるか？
• RQ3 これらのモデルは、複雑なディープラーニングモデルと比較して、どれほど透明性のある意思決定プロセスを提供できるか？
• RQ4 実世界のソーシャルメディア環境における大規模な嫌がらせ発言検出に、単純で解釈可能なモデルを適用することは現実的か？

主な発見

• SVMモデルは、テストセットで約99％の分類正確性を達成し、嫌がらせ発言検出において優れた性能を示した。
• ナイーブベイズモデルは、同じテストセットで約50％の分類正確性を達成し、この特定のデータセットやタスクにおいては限定的な有効性を示した。
• ナイーブベイズの正確性が低くても、その確率的基盤と透明な意思決定論理のおかげで、より高い解釈可能性を提供している。
• SVMモデルは、特徴重要度分析を組み合わせることで、高い正確性と妥当な解釈可能性の両方を実現しており、バランスに優れている。
• 本研究は、適切にチューニングされ、特徴工学が施されたシンプルなモデル（SVM や NB）が、嫌がらせ発言分類において準最先端の性能を達成できることを確認した。
• 結果から、正確性と解釈可能性のトレードオフが浮き彫りになり、SVM が実用的展開に向けたより現実的なソリューションであることが示された。