[論文レビュー] OSACT4 Shared Task on Offensive Language Detection: Intensive Preprocessing-Based Approach.

Fatemah Husain|arXiv (Cornell University)|May 1, 2020

Hate Speech and Cyberbullying Detection参考文献 8被引用数 6

ひとこと要約

本論文は、アラビア語ソーシャルメディアテキストにおける攻撃的言語および嫌がらせ発言の検出のための強力な前処理ベースのアプローチを提示しており、きめ細やかなテキストクリーニングが分類性能を顕著に向上させることを示している。この手法は、OSACT4共有タスクにおいて、攻撃的言語検出（Sub-Task A）で3位（F1スコア89%）、嫌がらせ発言検出（Sub-Task B）で1位（F1スコア95%）を達成し、最先端の結果を示した。

ABSTRACT

The preprocessing phase is one of the key phases within the text classification pipeline. This study aims at investigating the impact of the preprocessing phase on text classification, specifically on offensive language and hate speech classification for Arabic text. The Arabic language used in social media is informal and written using Arabic dialects, which makes the text classification task very complex. Preprocessing helps in dimensionality reduction and removing useless content. We apply intensive preprocessing techniques to the dataset before processing it further and feeding it into the classification model. An intensive preprocessing-based approach demonstrates its significant impact on offensive language detection and hate speech detection shared tasks of the fourth workshop on Open-Source Arabic Corpora and Corpora Processing Tools (OSACT). Our team wins the third place (3rd) in the Sub-Task A Offensive Language Detection division and wins the first place (1st) in the Sub-Task B Hate Speech Detection division, with an F1 score of 89% and 95%, respectively, by providing the state-of-the-art performance in terms of F1, accuracy, recall, and precision for Arabic hate speech detection.

研究の動機と目的

• アラビア語ソーシャルメディアテキストにおける攻撃的言語および嫌がらせ発言検出に、強力な前処理が与える影響を調査すること。
• テキスト分類において、非公式なアラビア語方言やノイズの多いソーシャルメディアコンテンツが引き起こす課題に対処すること。
• 次元削減と不要なテキストノイズの除去を通じて、分類性能を向上させること。
• アラビア語の攻撃的言語および嫌がらせ発言検出に関するOSACT4共有タスクで最先端の結果を達成すること。

提案手法

• 分類モデルに供給する前に、アラビア語テキストデータセットに対して強力な前処理技術を適用すること。
• 特殊文字、余分なスペース、標準でない綴りなどの不要または重複するコンテンツを除去することで、次元削減を実現すること。
• ドメイン固有の正規化を活用し、非公式なアラビア語方言をより一貫性のある表現に統一すること。
• モデル学習の前段階としてテキストクリーニングを基盤的ステップとして重視するパイプラインを採用すること。
• アラビア語ソーシャルメディアテキストの言語的特徴に適合した、前処理戦略を選択・適用すること。
• 前処理済みデータを用いて、OSACT4共有タスクで高いパフォーマンスを発揮する分類モデルを訓練すること。

実験結果

リサーチクエスチョン

• RQ1 強力な前処理は、アラビア語ソーシャルメディアテキストにおける攻撃的言語検出のパフォーマンスにどのように影響するか？
• RQ2 どの程度、前処理が非公式なアラビア語テキストにおける嫌がらせ発言検出を改善するか？
• RQ3 低リソースで方言が多く含まれるアラビア語テキスト分類において、前処理重視のアプローチが他の手法を上回ることができるか？
• RQ4 次元削減とノイズ除去は、アラビア語攻撃的言語検出におけるF1、適合率、再現率、正答率にどのような影響を与えるか？
• RQ5 前処理のみで、アラビア語嫌がらせ発言検出において最先端のパフォーマンスを達成できるか？

主な発見

• 強力な前処理ベースのアプローチは、Sub-Task A（攻撃的言語検出）でF1スコア89%を達成し、OSACT4共有タスクで3位を獲得した。
• この手法は、Sub-Task B（嫌がらせ発言検出）で最先端のF1スコア95%を達成し、共有タスクで1位を獲得した。
• このアプローチは、嫌がらせ発言検出タスクにおいて、F1、正答率、適合率、再現率のすべての指標で優れたパフォーマンスを示した。
• 前処理により、ノイズの低減と非公式なアラビア語方言の標準化がなされ、モデルのパフォーマンスが顕著に向上した。
• 結果から、前処理は、特に低リソースかつ方言が多く含まれる分野におけるアラビア語テキスト分類において、極めて重要で高いインパクトを持つステップであることが確認された。
• 本研究は、複雑なモデルアーキテクチャを必要とせずとも、強力な前処理によって最先端の結果を達成できることを確立した。