[論文レビュー] HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection

Suman Dowlagar, Radhika Mamidi|arXiv (Cornell University)|Jan 22, 2021

Hate Speech and Cyberbullying Detection参考文献 12被引用数 5

ひとこと要約

本論文は、英語、ドイツ語、ヒンディー語の3言語において、嫌がらせ発言および攻撃的コンテンツ検出のため、ファインチューニングされたBERTおよび多言語BERTモデルの使用を提案する。このアプローチはFIRE 2019–2020合同タスクデータセットを用いたトランスファー学習を活用し、英語の嫌がらせ発言検出において最高性能を記録し、マクロF1スコアが88.33%に達し、従来のSVMおよびELMOベースの手法を著しく上回った。

ABSTRACT

Hateful and Toxic content has become a significant concern in today's world due to an exponential rise in social media. The increase in hate speech and harmful content motivated researchers to dedicate substantial efforts to the challenging direction of hateful content identification. In this task, we propose an approach to automatically classify hate speech and offensive content. We have used the datasets obtained from FIRE 2019 and 2020 shared tasks. We perform experiments by taking advantage of transfer learning models. We observed that the pre-trained BERT model and the multilingual-BERT model gave the best results. The code is made publically available at https://github.com/suman101112/hasoc-fire-2020.

研究の動機と目的

• 多言語SNSテキストにおける嫌がらせ発言および攻撃的コンテンツを自動で分類するシステムの開発を目的とする。
• 低リソース言語および多言語嫌がらせ発言検出タスクにおいて、BERTおよび多言語BERTを用いたトランスファー学習の有効性を評価すること。
• SVMとTF-IDF、ELMO埋め込みを用いた従来の機械学習およびニューラルネットワークベースラインと比較して、BERTベースのモデルの性能を評価すること。
• 英語、ドイツ語、ヒンディー語を含む多様な言語におけるモデル性能および失敗事例を分析すること。
• 嫌がらせ発言と攻撃的コンテンツという類似だが異なるラベルの分類を向上させるために、共同学習戦略を検討すること。

提案手法

• FIRE 2019および2020のラベル付きデータセットを用いて、事前学習済みのBERT-baseおよび多言語BERT-baseモデルを、嫌がらせ発言および攻撃的コンテンツ検出タスクにファインチューニングする。
• 最終BERT層の[CLS]トークン表現を文レベルのエンコーディングとして用い、二値分類のための全結合softmax層を追加する。
• 大規模事前学習から得た汎用的言語表現を、限られたアノテーションデータを有する下流分類タスクに適応させるトランスファー学習を採用する。
• BERTと代替手法（TF-IDFを用いたSVM、ELMO埋め込みとSVM）を同一のトークン化および前処理パイプラインを用いて比較する。
• 言語に跨る未知語の処理を改善するために、SentencePieceによるサブワードレベルのトークン化を適用する。
• 英語、ドイツ語、ヒンディー語のサブタスクAおよびBのテストセットにおいて、マクロF1および正答率を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTおよび多言語BERTモデルは、多言語嫌がらせ発言検出において、従来の機械学習およびニューラルネットワークベースラインと比較してどのように性能を発揮するか？
• RQ2 事前学習されたトランスフォーマー・モデルを用いたトランスファー学習が、ヒンディー語やドイツ語などの低リソース言語における分類性能に与える影響は何か？
• RQ3 なぜ一部のモデル（特に多言語BERT）は、非英語言語において、嫌がらせ発言および攻撃的コンテンツのラベルの大部分を「NONE」と誤分類してしまうのか？
• RQ4 BERTの文脈に依存する埋め込み表現は、TF-IDFやELMOのような静的または非文脈的埋め込み表現と比較して、分類性能をどの程度向上させるか？
• RQ5 嫌がらせ発言と攻撃的コンテンツ検出を共同でモデリングすることで、ラベル間の関係を活用し、全体の分類性能を向上させることができるか？

主な発見

• BERTモデルは、英語サブタスクA（嫌がらせ発言検出）において、マクロF1スコア88.33%、正答率88.33%を達成し、すべてのベースラインを上回った。
• 英語における攻撃的コンテンツ識別（サブタスクB）では、BERTはマクロF1 54.44%、正答率81.57%を記録し、ELMO + SVMおよびSVMベースラインと比較して5–7%の改善を示した。
• ドイツ語サブタスクでは、多言語BERTが中程度の性能を示し、嫌がらせ発言検出で77.91%のマクロF1、攻撃的コンテンツ識別で47.78%のマクロF1を達成した。
• ヒンディー語サブタスクでは、多言語BERTが嫌がらせ発言検出で63.54%のマクロF1、攻撃的コンテンツ識別で49.71%のマクロF1を達成し、SVMおよびELMO + SVMベースラインを上回った。
• BERTモデルは、ヒンディー語およびドイツ語において、多くの嫌がらせ発言および攻撃的コンテンツインスタンスを誤って「NONE」や「PROF」（不適切な表現）と分類しており、低リソース言語への一般化の困難さを示している。
• 誤差分析の結果、モデルは「HATE」と「OFFN」ラベルを区別するのに特に苦労しており、特に非英語言語においては頻繁に「PROF」と誤分類していた。