[論文レビュー] Arabic Offensive Language Detection Using Machine Learning and Ensemble Machine Learning Approaches

Fatemah Husain|arXiv (Cornell University)|May 16, 2020

Hate Speech and Cyberbullying Detection参考文献 17被引用数 25

ひとこと要約

本研究では、方言のばらつきや非形式的な表記の課題があるアラビア語のソーシャルメディア文書における攻撃的言語の検出について、単一モデルおよびアンサンブル機械学習手法を評価する。バギングアンサンブルモデルを用いた手法は、F1スコア88%を達成し、最良の単一学習分類器よりも6ポイントも優れている。これは、低リソースで高ばらつきが生じる自然言語処理タスクにおいて、アンサンブル手法の優位性を示している。

ABSTRACT

This study aims at investigating the effect of applying single learner machine learning approach and ensemble machine learning approach for offensive language detection on Arabic language. Classifying Arabic social media text is a very challenging task due to the ambiguity and informality of the written format of the text. Arabic language has multiple dialects with diverse vocabularies and structures, which increase the complexity of obtaining high classification performance. Our study shows significant impact for applying ensemble machine learning approach over the single learner machine learning approach. Among the trained ensemble machine learning classifiers, bagging performs the best in offensive language detection with F1 score of 88%, which exceeds the score obtained by the best single learner classifier by 6%. Our findings highlight the great opportunities of investing more efforts in promoting the ensemble machine learning approach solutions for offensive language detection models.

研究の動機と目的

• アラビア語のソーシャルメディアにおける攻撃的言語を検出する課題に取り組む。これは、方言の多様性と非形式的な言語使用の影響によって複雑化している。
• 単一学習機械学習モデルとアンサンブル機械学習モデルの両方が、アラビア語の攻撃的言語検出においてどのように性能を発揮するかを比較する。
• 低リソースで高ばらつきが生じるアラビア語テキストにおける分類精度を向上させるために、最も効果的なアンサンブル手法を同定する。
• 伝統的なモデルが苦戦する文脈において、アンサンブル手法を用いることの実現可能性と利点を示す。

提案手法

• 本研究では、ベースライン分類のため、ロジスティック回帰、SVM、ランダムフォレスト、ナイーブベイズを含むさまざまな単一学習機械学習モデルを採用する。
• バギング、ブースティング、ボーティングなどのアンサンブル手法を用いて、複数の基本学習器の予測を統合し、より高い頑健性と正確性を実現する。
• データセットは、攻撃的言語のラベルが付与されたアラビア語のソーシャルメディアテキストから構成され、方言的・非形式的な表現に対処するための前処理が施されている。
• 特徴工学では、袋の単語（bag-of-words）とTF-IDF表現を用いて、テキスト内の語彙的パターンを捉える。
• モデルの評価には、特に不均衡な攻撃的言語検出タスクにおける性能を評価するための標準的な自然言語処理指標、特にF1スコアが用いられる。
• 最良のパフォーマンスを示したモデルはF1スコアに基づき選定され、バギングが最も高い性能を示した。

実験結果

リサーチクエスチョン

• RQ1 単一学習機械学習モデルは、アラビア語のソーシャルメディア文書における攻撃的言語検出において、どのように性能を発揮するか？
• RQ2 アンサンブル機械学習アプローチは、単一学習モデルと比較して、アラビア語の攻撃的言語検出性能をどの程度向上させるか？
• RQ3 バギング、ブースティング、ボーティングのうち、どのアンサンブル手法がアラビア語の攻撃的言語検出において最高のF1スコアを達成するか？
• RQ4 アンサンブル手法は、アラビア語における方言のばらつきや非形式的な表記の課題を効果的に軽減できるか？

主な発見

• アンサンブル機械学習手法は、単一学習モデルと比較して、アラビア語の攻撃的言語検出において顕著に優れた性能を示し、F1スコアで6ポイントの改善を達成した。
• アンサンブル手法の中で、バギングが88%の最高F1スコアを記録し、本研究において最も効果的なアプローチであった。
• 最良の単一学習分類器はF1スコア82%を達成したが、バギングアンサンブルモデルに劣っていた。
• 結果から、アンサンブル手法は、アラビア語のソーシャルメディアテキストに内在する言語的複雑性とばらつきに対処するうえで特に有効であることが示された。