[論文レビュー] Let-Mi: An Arabic Levantine Twitter Dataset for Misogynistic Language

Hala Mulki, Bilal Ghanem|arXiv (Cornell University)|Mar 18, 2021

Hate Speech and Cyberbullying Detection参考文献 25被引用数 13

ひとこと要約

本論文は、レバノンのアラビア語方言（レバノン・アラビア語）におけるミソジニスト的言語を検出するための、最初のベンチマークデータセットであるLet-Miを紹介する。このデータセットは、7つのミソジニズムのカテゴリーに分類された6,550件の手動アノテーション付きツイートを含む。最先端のモデル、特にマルチタスク学習（MTL）を用いて評価された結果、ミソジニズム検出において優れた性能を示し、MTLによって主要なタスクでF1スコアが最大4%向上した。これは、アラビア語SNSにおけるオンラインのジェンダー差別的攻撃を抑えるために重要な一歩である。

ABSTRACT

Online misogyny has become an increasing worry for Arab women who experience gender-based online abuse on a daily basis. Misogyny automatic detection systems can assist in the prohibition of anti-women Arabic toxic content. Developing such systems is hindered by the lack of the Arabic misogyny benchmark datasets. In this paper, we introduce an Arabic Levantine Twitter dataset for Misogynistic language (LeT-Mi) to be the first benchmark dataset for Arabic misogyny. We further provide a detailed review of the dataset creation and annotation phases. The consistency of the annotations for the proposed dataset was emphasized through inter-rater agreement evaluation measures. Moreover, Let-Mi was used as an evaluation dataset through binary/multi-/target classification tasks conducted by several state-of-the-art machine learning systems along with Multi-Task Learning (MTL) configuration. The obtained results indicated that the performances achieved by the used systems are consistent with state-of-the-art results for languages other than Arabic, while employing MTL improved the performance of the misogyny/target classification tasks.

研究の動機と目的

• アラビア語、特にレバノン・アラビア語のミソジニズムのアノテーション付きデータセットが不足しているという問題に対処すること。
• アラビア語SNSにおけるミソジニスト的言語検出のための高品質で手動アノテーション済みのデータセットを構築すること。
• 提案されたデータセットを用いて、最先端の機械学習モデルのミソジニズム検出タスクにおける性能を評価すること。
• マルチタスク学習（MTL）がミソジニズムおよびターゲット検出タスクの分類性能に与える影響を調査すること。
• 今後の研究の基盤を提供すること。具体的には、皮肉、マルチラベル分類、およびアラビア語のオンライン嫌がらせにおける文化的なニュアンスに関する研究を想定。

提案手法

• データセットは、レバノンでの2019年10月17日抗議活動中にツイッターから収集されたもので、主に女性ジャーナリストを標的にしたツイートに焦点を当てた。
• ネイティブのレバノン・アラビア語話者であるアノテーターが、各ツイートを「ニュートラル」または7つのミソジニズムカテゴリー（誹謗、支配、ののしり／中傷、性的いじめ、ステレオタイプ／物的化、話題のずらし、暴力の脅し）のいずれかにラベル付けした。
• アノテーター間的一致性を確認するため、CohenのKappaとKrippendorffのalphaを用いて一貫性を測定した。
• 最先端のモデル（BERTやマルチタスク学習（MTL）構成を含む）を用いて、二値分類およびマルチクラス分類タスクでデータセットを評価した。
• 誤差分析を実施し、皮肉、複数ラベル、レアカテゴリー、誤ったミソジニズムケースなどの課題を特定した。
• 今後の作業として、複数のミソジニズムカテゴリーに属するツイートを捉えるために、マルチラベル版のデータセット作成を計画している。

実験結果

リサーチクエスチョン

• RQ1 最先端のモデルは、レバノン・アラビア語のツイッターにおけるミソジニスト的言語検出にどの程度効果的か？
• RQ2 マルチタスク学習（MTL）は、アラビア語におけるミソジニズムおよびターゲット分類タスクの性能をどの程度向上させるか？
• RQ3 特にレバノン・アラビア語において、ミソジニスト的コンテンツを分類する際の主な課題は何か？
• RQ4 文化的表現、皮肉、および固有の攻撃的表現が、モデルの汎化性能および分類精度にどのように影響するか？
• RQ5 アラビア語のミソジニズム検出のためのベンチマークデータセットは、多様なNLPタスクにおいて一貫性があり信頼性のあるモデル評価を可能にするか？

主な発見

• Let-Miデータセットは高いアノテーター間一致度を達成しており、CohenのKappaとKrippendorffのalphaの両方が、アノテーションの一貫性が強いことを示した。
• 最先端のモデルは、非アラビア語言語におけるSOTA結果と同等の性能を達成した。これは、このデータセットが多言語間の嫌がらせ検出に有用であることを示している。
• マルチタスク学習（MTL）は、ミソジニズムおよびターゲット分類タスクにおいて、平均してF1スコアを4%向上させた。これは、低リソース環境下でも有効であることを示している。
• カテゴリー分類タスクでは、F1 = 0.34の低さを示した。これは、訓練データが少ない「話題のずらし」「支配」「性的いじめ」などのレアカテゴリーが主な要因である。
• 皮肉、複数ラベル、固有の中傷表現、誤ったミソジニズムケースが、特に文化的に特徴的な表現において、誤分類の主な原因であることが特定された。
• データセットには、ミソジニズムを標的にしない中立的または一般の攻撃的ツイートも含まれており、ミソジニズムコンテンツと一般の毒性コンテンツを区別する課題が浮き彫りになった。