[論文レビュー] Meta AI at Arabic Hate Speech 2022: MultiTask Learning with Self-Correction for Hate Speech Classification

Badr AlKhamissi, Mona Diab|arXiv (Cornell University)|May 16, 2022

Hate Speech and Cyberbullying Detection被引用数 9

ひとこと要約

本論文は、微調整された MARBERT モデルを用いて、攻撃的言語検出、嫌がらせ発言同定、微細分類カテゴリ同定の3つのサブタスクにわたる、自己整合性補正を備えたマルチタスク学習（MTL）フレームワークを提案する。このアプローチは、嫌がらせ発言サブタスクで82.7%のF1を達成し、先行研究比で相対的に3.4%の向上を示した。

ABSTRACT

In this paper, we tackle the Arabic Fine-Grained Hate Speech Detection shared task and demonstrate significant improvements over reported baselines for its three subtasks. The tasks are to predict if a tweet contains (1) Offensive language; and whether it is considered (2) Hate Speech or not and if so, then predict the (3) Fine-Grained Hate Speech label from one of six categories. Our final solution is an ensemble of models that employs multitask learning and a self-consistency correction method yielding 82.7% on the hate speech subtask -- reflecting a 3.4% relative improvement compared to previous work.

研究の動機と目的

• オンライン上で急増するが、高品質なアノテート済みデータセットが限られるアラビア語における低リソース嫌がらせ発言検出の課題に対処すること。
• 攻撃的言語検出、嫌がらせ発言同定、微細分類カテゴリ同定の3つのサブタスクに分解することで、嫌がらせ発言同定の信頼性と粒度を向上させること。
• 二値の嫌がらせ発言ラベル付けにおける主観性を克服するため、関連するタスク間で共有表現を活用するマルチラベル・マルチタスクフレームワークを採用すること。
• マルチタスク学習と、最終予測の精練に向けた新規の自己整合性補正メカニズムを組み合わせることで、モデルの頑健性と一般化性能を向上させること。
• アラビア語微細分類嫌がらせ発言検出のための新規ベンチマークデータセットを用いて、共同学習と後処理補正の有効性を実証すること。

提案手法

• 攻撃的言語検出、嫌がらせ発言分類、微細分類カテゴリ予測の3つのサブタスクに共通するデータセット上で、MARBERT モデルを微調整する。
• マルチタスク学習（MTL）を用いたアンサンブルモデルを訓練し、1つの共有エンコーダー（MARBERT）が入力ツイートを処理し、タスク固有の分類器に特徴表現を供給する。
• 推論後に自己整合性補正を適用し、データオーグメンテーションを伴う複数回の順伝播を用いて最終予測を投票することで、信頼性と正確性を向上させる。
• 各サブタスクを独立して最適化し、検証F1スコアに基づく早期停止とモデル選択を実施した後、アンサンブル平均化を実行する。
• 自己整合性ステップでは、推論時にデータオーグメンテーションとドロップアウトを活用し、多様な予測を生成し、予測のばらつきを低減する。
• MTLと自己補正の効果を評価するためのアブレーションスタディを実施し、それぞれの貢献度を分離して全体の精度に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 関連するサブタスク間で共有表現を活用することで、マルチタスク学習がアラビア語微細分類嫌がらせ発言分類の性能向上に寄与するか？
• RQ2 自己整合性補正は、嫌がらせ発言分類における予測の精練と不確実性の低減にどの程度効果的か？
• RQ3 F1スコア向上に寄与する主な要因として、マルチタスク学習と自己補正の相対的貢献度はどの程度か？
• RQ4 攻撃的言語検出、嫌がらせ発言同定、微細分類カテゴリ分類の3つのタスクを共同で学習させることで、単一タスクベースラインよりも一般化性能が向上するか？
• RQ5 提案手法は、アラビア語微細分類嫌がらせ発言検出共有タスクにおいて、既存の最先端モデルをどの程度上回るか？

主な発見

• 提案されたマルチタスク学習モデルは、嫌がらせ発言サブタスクで82.7%のF1を達成し、前回の最先端手法比で相対的に3.4%の向上を示した。
• 自己整合性補正手法は、複数回の順伝播によるアンサンブル投票により、予測を精練することで微細分類嫌がらせ発言分類性能を向上させた。
• アブレーションスタディの結果、3つのサブタスクを共同で学習させることで、単一タスクベースラインと比較してモデルの一般化性能が著しく向上し、過学習も低減された。
• MTLモデルのアンサンブルに自己補正を組み合わせた手法は、3つのサブタスクすべての指標で、報告済みのすべてのベースラインを上回った。
• マルチタスク学習により、データ効率が向上し、収束が速くなった。共有表現のおかげで、より頑健で転送可能な特徴をモデルが学習できた。
• 低リソースアラビア語NLPにおいても強力な頑健性を示し、MTLと自己補正が微細分類嫌がらせ発言検出におけるデータ不足の影響を緩和できることを実証した。