[論文レビュー] Toxic Language Detection in Social Media for Brazilian Portuguese: New Dataset and Multilingual Analysis

João Leite, Diego Furtado Silva+2 more|arXiv (Cornell University)|Oct 9, 2020

Hate Speech and Cyberbullying Detection参考文献 10被引用数 43

ひとこと要約

ToLD-Br を紹介します。デモグラフィックを意識した注釈を備えた大規模なブラジルポルトガル語の toxic language Twitter データセットを作成し、二値およびマルチラベルの toxic comment classification におけるモノリンガルBERTとマルチリンガルBERTモデルを分析する。

ABSTRACT

Hate speech and toxic comments are a common concern of social media platform users. Although these comments are, fortunately, the minority in these platforms, they are still capable of causing harm. Therefore, identifying these comments is an important task for studying and preventing the proliferation of toxicity in social media. Previous work in automatically detecting toxic comments focus mainly in English, with very few work in languages like Brazilian Portuguese. In this paper, we propose a new large-scale dataset for Brazilian Portuguese with tweets annotated as either toxic or non-toxic or in different types of toxicity. We present our dataset collection and annotation process, where we aimed to select candidates covering multiple demographic groups. State-of-the-art BERT models were able to achieve 76% macro-F1 score using monolingual data in the binary case. We also show that large-scale monolingual data is still needed to create more accurate models, despite recent advances in multilingual approaches. An error analysis and experiments with multi-label classification show the difficulty of classifying certain types of toxic comments that appear less frequently in our data and highlights the need to develop models that are aware of different categories of toxicity.

研究の動機と目的

• Twitter からデモグラフィックを意識した注釈を付けた大規模なブラジルポルトガル語の toxic language データセット（ToLD-Br）を作成する。
• 二値 toxic Comment classification に対するモノリンガル vs マルチリンガル BERT モデルの有効性を分析する。
• 有害性検出のための多言語設定における転移学習とゼロショット学習を調査する。
• この言語におけるマルチラベル毒性分類のデータ要件と課題を探る。
• 注釈の同意度、ラベルの多様性、モデルのエラーパターンに関する洞察を提供し、今後の研究を導く。

提案手法

• キーワード/ハッシュタグとインフルエンサーベースの戦略を用いて1000万件超のツイートを収集し、21k件のツイートを7つの毒性カテゴリで注釈する。
• Krippendorff の alpha を計算して注釈者間の一致を評価し、注釈の乖離を分析する。
• BoW+AutoML ベースラインモデルと複数のBERTベースの分類器を訓練・評価する（Brazilian Portuguese BERT BR-BERT および Multilingual BERT MBERT-BR）。
• モノリンガル（ポルトガル語）ファインチューニングを実施し、OLID English データを用いた転移学習とゼロショット学習を多言語設定で実験する。
• 二値毒性性能に対する訓練データサイズの影響を分析し、初期のマルチラベル分類実験を行う。
• 毒性タイプ別のエラー分析を提供し、データ不均衡の影響と注釈者の同意について議論する。）

実験結果

リサーチクエスチョン

• RQ1 ToLD-Br における二値毒性コメント検出のためのモノリンガル Brazilian Portuguese BERT モデルは、マルチリンガルモデルと比較してどの程度効果的か？
• RQ2 転移学習やゼロショット学習を通じて英語データを取り入れることは、ブラジルポルトガル語の毒性検出を改善するか？
• RQ3 訓練データサイズは二値分類の性能にどう影響するか、特にマイノリティの毒性クラスについて？
• RQ4 ToLD-Br におけるマルチラベル毒性分類の課題は何か、カテゴリごとにモデルの性能はどう異なるか？
• RQ5 注釈者のデモグラフィックとラベルの一致度はデータセット品質とモデル訓練にどのような影響を与えるか？

主な発見

• モノリンガル Brazilian Portuguese BERT モデル（M-BERT-BR）は、テストされた手法の中で最高の macro-F1（おおよそ 76%）を達成し、他のモデルより偽陰性が少ない。
• モノリンガル BR-BERT は M-BERT-BR と同等、しばしば macro-F1 でわずかに上回り、言語特有のデータが依然有利であることを示す。
• 英語 OLID データからの転移学習（M-BERT(transfer)）はモノリンガルモデルを上回らず、偽陰性がより多い。
• ゼロショット学習（M-BERT(zero-shot)）は特に toxic（陽性）クラスで性能が低く、macro-F1 は約 0.56。
• BoW+AutoML は macro-F1 が約 0.74 に近く、深層学習なしで競争力のあるパフォーマンスを示す強力なベースラインを提供する。
• 訓練データを増やすと有害クラスの精度と再現率の両方が向上し、より信頼性の高い結果には約6k件の例が必要となる。一方、マイノリティクラスは不均衡のため依然として困難。
• マルチラベル分類は実質的により難しいことが証明される。多くの例があるラベル（侮辱、露骨な表現）は、少数の例しかないラベル（人種差別、排外主義、LGBTQ+恐怖症）より良い結果を出す。