[論文レビュー] Walk in Wild: An Ensemble Approach for Hostility Detection in Hindi Posts

Chander Shekhar, Bhavya Bagla+2 more|arXiv (Cornell University)|Jan 15, 2021

Hate Speech and Cyberbullying Detection参考文献 8被引用数 7

ひとこと要約

本稿では、mBERT、XGBoost、ANNを組み合わせたアンサンブルモデルを提案し、低リソース言語としてのヒンディー語SNS投稿における攻撃的発言検出に取り組む。二値分類では~0.969の重み付きF1スコア、細分化された多値分類では~0.615の重み付きF1スコアを達成し、ヒンディー語攻撃的発言検出コンペティションで第3位を獲得した。

ABSTRACT

As the reach of the internet increases, pejorative terms started flooding over social media platforms. This leads to the necessity of identifying hostile content on social media platforms. Identification of hostile contents on low-resource languages like Hindi poses different challenges due to its diverse syntactic structure compared to English. In this paper, we develop a simple ensemble based model on pre-trained mBERT and popular classification algorithms like Artificial Neural Network (ANN) and XGBoost for hostility detection in Hindi posts. We formulated this problem as binary classification (hostile and non-hostile class) and multi-label multi-class classification problem (for more fine-grained hostile classes). We received third overall rank in the competition and weighted F1-scores of ~0.969 and ~0.61 on the binary and multi-label multi-class classification tasks respectively.

研究の動機と目的

• ヒンディー語のような低リソースで多様性の高い言語における攻撃的発言検出の課題に対処すること。
• ヒンディー語SNS上での嫌がらせ発言、フェイクニュース、中傷発言などの有害コンテンツを検出する、堅牢でスケーラブルなシステムの開発。
• 多言語事前学習モデルとアンサンブル学習を活用することで、低リソース言語NLPタスクの性能を向上させること。
• クラス不均衡の影響を軽減し、細分化分類の性能を向上させるために、モデルアンサンブルと微調整済み表現を活用すること。
• 公開コンペティションへの参加と上位成績を達成することで、今後のヒンディー語毒性検出研究のベンチマークを提供すること。

提案手法

• 前処理ではURLを削除しつつ絵文字とハッシュタグを保持し、mBERTのトークナイザーを用いてトークン化を行う。シーケンス長は128に制限される。
• 表現の抽出には、mBERTの[CLS]トークン埋め込み（元の表現）と、下流学習後の微調整済み表現を用いる。
• 二段階分類フレームワークを採用：粗粒度分類（二値：攻撃的／非攻撃的）と細粒度分類（多値：フェイクニュース、嫌がらせ発言、攻撃的発言、中傷）
• mBERT埋め込みを入力として複数のモデルを訓練：ニューラルネットワーク（ANN）、XGBoost、ロジスティック回帰。ハイパーパramータチューニングを実施。
• アンサンブルモデルでは、4つの異なる提出結果の予測を、個々のF1スコアに基づく重み付き平均で統合。最終出力は以下の式で計算される：$ \hat{O_{ij}} = \frac{\sum_{i=1}^{4} \sum_{j=1}^{n} O_{ij} \times ff1_i}{\sum_{i=1}^{4} ff1_i} $。
• 微調整済み表現は、元の表現よりも一貫して優れた性能を示し、細粒度分類において重み付きF1スコアを0.24向上させた。

実験結果

リサーチクエスチョン

• RQ1 mBERT、XGBoost、ANNのアンサンブルは、低リソースのヒンディー語SNS投稿における攻撃的発言を効果的に検出できるか？
• RQ2 mBERT表現の微調整は、ヒンディー語における二値分類および多値分類タスクの性能にどのように影響を与えるか？
• RQ3 この低リソース環境下で、アンサンブル学習により統合された際、分類器（例：XGBoost対ANN）の相対的寄与度は何か？
• RQ4 クラス不均衡はモデル性能にどのように影響を及ぼし、アンサンブル手法はヒンディー語攻撃的発言検出におけるこの問題を緩和できるか？
• RQ5 絵文字やハッシュタグといった特徴は、ヒンディー語投稿における正確な攻撃的発言検出にどの程度寄与するか？

主な発見

• 提案されたアンサンブルモデルは、粗粒度（二値）分類タスクで重み付きF1スコア0.969を達成し、コンペティションで第3位となった。
• 細粒度多値分類タスクでは、最高の提出結果がバリデーションセットで重み付きF1スコア0.6149、テストセットで0.6088を記録した。
• 細粒度分類タスクにおいて、微調整済みmBERT表現は、元の表現に比べて重み付きF1スコアを0.24向上させた。
• SVM、RF、LRなどのベースラインモデルと比較して、全発言カテゴリで顕著に優れた性能を示し、特にフェイクニュースおよび攻撃的発言検出で顕著であった。
• 中傷発言クラスは、訓練データセットが少なかったためF1スコアが最低であった。これは、強力な事前学習モデルが存在しても、データ不足が依然として主な課題であることを示している。
• Submission-4は、4つのモデルの重み付きアンサンブルを採用し、細粒度分類で最高の性能を達成した。F1スコアに基づく重み付け平均化の有効性が裏付けられた。