[論文レビュー] Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches

Ravindra Nayak, Raviraj Joshi|arXiv (Cornell University)|Oct 18, 2021

Hate Speech and Cyberbullying Detection被引用数 13

ひとこと要約

本論文は、多言語 BERT および Indic-BERT を用いたデュアルエンコーダー変換器ベースのアプローチを提案し、コードミックスドの英語・ヒンディー語（ヒングリッシュ）ツイートにおける文脈的嫌がらせ発言検出を実現する。文脈ツイートとターゲットツイートを別々に符号化し、[CLS]埋め込みの平均値を算出し、静的攻撃的語彙辞書とモデルアンサンブルを組み合わせることで、HASOC 2021 ICHCL データセットにおいて 73.07% の F1 スコアという、新たな最先端性能を達成した。

ABSTRACT

In the recent past, social media platforms have helped people in connecting and communicating to a wider audience. But this has also led to a drastic increase in cyberbullying. It is essential to detect and curb hate speech to keep the sanity of social media platforms. Also, code mixed text containing more than one language is frequently used on these platforms. We, therefore, propose automated techniques for hate speech detection in code mixed text from scraped Twitter. We specifically focus on code mixed English-Hindi text and transformer-based approaches. While regular approaches analyze the text independently, we also make use of content text in the form of parent tweets. We try to evaluate the performances of multilingual BERT and Indic-BERT in single-encoder and dual-encoder settings. The first approach is to concatenate the target text and context text using a separator token and get a single representation from the BERT model. The second approach encodes the two texts independently using a dual BERT encoder and the corresponding representations are averaged. We show that the dual-encoder approach using independent representations yields better performance. We also employ simple ensemble methods to further improve the performance. Using these methods we report the best F1 score of 73.07% on the HASOC 2021 ICHCL code mixed data set.

研究の動機と目的

• コードミックスドのソーシャルメディアコンテンツ、特にツイッター上のヒングリッシュ（英語・ヒンディー語）テキストにおける嫌がらせ発言検出の課題に対処すること。
• 親ツイートからの文脈的情報を組み込むことで、孤立した返信からは明らかでない場合があるため、検出性能を向上させること。
• 低リソースで多言語の嫌がらせ発言検出シナリオにおいて、多言語 BERT および Indic-BERT の有効性を評価すること。
• 固定された埋め込みと静的攻撃的語彙辞書が、モデルの汎化性能と性能向上に寄与するかどうかを検証すること。
• コードミックスド嫌がらせ発言検出の HASOC 2021 ICHCL ベンチマークで最先端の性能を達成すること。

提案手法

• モデルは、文脈とターゲットツイートのテキストを別々に BERT を用いて符号化するデュアルエンコーダー・アーキテクチャを採用し、個別の [CLS] トークン埋め込みを生成する。
• 文脈とターゲットツイートの [CLS] 埋め込みを平均化して、分類のための統合文書表現を形成する。
• 比較のための単一エンコーダーのベースラインとして、文脈とターゲットのテキストを区切りトークンで結合し、1つの入力系列として処理する。
• m-BERT および Indic-BERT の埋め込み層を微調整中に固定することで、事前学習済み表現を保持し、過学習を低減する。
• 訓練またはテストセットからのデータ漏洩が生じないよう、攻撃的語彙の静的辞書を、決定論的なフィルタとして用いる。
• アンサンブル手法により、上位のパフォーマンスを示すモデルの予測を統合する — 特に、デュアルエンコーダーおよびシングルエンコーダー構成における Indic-BERT と m-BERT の予測を平均化する。

実験結果

リサーチクエスチョン

• RQ1 親ツイートからの文脈的情報を組み込むことで、コードミックスドのヒングリッシュテキストにおける嫌がらせ発言検出性能が向上するか？
• RQ2 会話スレッドにおける嫌がらせ発言分類において、シングルエンコーダーとデュアルエンコーダーの BERT アーキテクチャの性能はどのように比較されるか？
• RQ3 BERT 埋め込みを固定することで、低リソースでコードミックスドの嫌がらせ発言検出タスクでの性能が向上するか？
• RQ4 データ漏洩なしに静的攻撃的語彙辞書を統合することで、モデル性能がどの程度向上するか？
• RQ5 複数の BERT ベースモデルのアンサンブル学習により、個々のモデルを上回る F1 スコアが達成可能か？

主な発見

• 文脈とターゲットツイートの [CLS] 埋め込みを平均化するデュアルエンコーダー手法が、両方のテキストを連結するシングルエンコーダー手法を上回る性能を示した。
• m-BERT および Indic-BERT の埋め込み層を固定することで汎化性能が向上し、この戦略により最高の F1 スコア 73.07% を達成した。
• 固定された埋め込みを用いた Indic-BERT モデル、デュアルエンコーダー構成、および辞書統合により、F1 スコア 70.37% を達成し、m-BERT ベースラインの 65.53% を上回った。
• 静的攻撃的語彙辞書の統合により、すべての構成で F1 スコアが向上し、特にデュアルエンコーダー構成で最大の向上が観察された。
• 4つのモデル（デュアルエンコーダーおよびシングルエンコーダー構成における Indic-BERT と m-BERT）のアンサンブルにより、全体として最高の F1 スコア 73.07% を達成した。
• 混同行列の結果から、アンサンブルモデルが、文脈的に曖昧なケースにおいても、嫌がらせでないコンテンツの誤分類を低減したことが確認された。