[論文レビュー] WLV-RIT at HASOC-Dravidian-CodeMix-FIRE2020: Offensive Language Identification in Code-switched YouTube Comments

Tharindu Ranasinghe, Sarthak Gupte+2 more|arXiv (Cornell University)|Nov 1, 2020

Hate Speech and Cyberbullying Detection参考文献 33被引用数 7

ひとこと要約

本論文は、XLM-RoBERTaを用いた転移学習とファインチューニング戦略を活用し、コードミックスド・マラヤラム語-英語のYouTubeコメントにおける攻撃的言語識別のためのWLV-RITシステムを提示する。HASOC-2020共同タスクにおいて0.89の重み付きF1スコアを達成し、参加者12名中5位を記録し、低リソースのコードミックスド・ドラヴィダ語テキストにおける多言語転移学習の有効性を示している。

ABSTRACT

This paper describes the WLV-RIT entry to the Hate Speech and Offensive Content Identification in Indo-European Languages (HASOC) shared task 2020. The HASOC 2020 organizers provided participants with annotated datasets containing social media posts of code-mixed in Dravidian languages (Malayalam-English and Tamil-English). We participated in task 1: Offensive comment identification in Code-mixed Malayalam Youtube comments. In our methodology, we take advantage of available English data by applying cross-lingual contextual word embeddings and transfer learning to make predictions to Malayalam data. We further improve the results using various fine tuning strategies. Our system achieved 0.89 weighted average F1 score for the test set and it ranked 5th place out of 12 participants.

研究の動機と目的

• コードミックスド・ドラヴィダ語テキスト、特にマラヤラム語-英語のコメントを対象とした強固な攻撃的言語識別システムの開発。
• マラヤラム語のような低リソース言語の注釈付きデータが限られる課題に対処するため、高リソースの英語データセットからの転移学習を活用する。
• 多言語的・コードミックスドのソーシャルメディアテキストにおける攻撃的コンテンツ検出において、さまざまなファインチューニング戦略およびトランスフォーマー・アーキテクチャの有効性を評価する。
• 特に、非攻撃的コンテンツが誤って攻撃的と分類されるなど、データセットバイアスのモデル性能への影響を調査する。

提案手法

• 英語の攻撃的言語検出から得られる知識を、マラヤラム語-英語のコードミックスドテキストに転送するために、XLM-RoBERTaおよびBERT-multilingualモデルを用いたクロスリンガルな文脈的単語埋め込みを活用した。
• HASOC-2020のマラヤラム語-英語のコードミックスドデータセット上で、事前学習済みの多言語トランスフォーマーをファインチューニングし、OLID英語の攻撃的言語データセットを補助学習データとして用いて転移学習を実施した。
• 標準的なファインチューニング、敵対的訓練（AT）、マスクド言語モデル（MLM）の3つのファインチューニング戦略を実装し、モデルの頑健性と性能を向上させた。
• ベースライン比較およびアブレーションスタディのため、ナイーブベイズ、SVM、ランダムフォレストといった従来の機械学習モデルにbag-of-words特徴量を組み合わせた。
• punctuationの除去、絵文字の除去、NLTKを用いた英単語のレムマチゼーションを含むデータ前処理を実施した。
• SVMおよびランダムフォレストのハイパーパrameter最適化にグリッドサーチを適用し、最適値はそれぞれalpha=0.001、random state=5、max iteration=15、n_estimators=500とした。

実験結果

リサーチクエスチョン

• RQ1 高リソースの英語攻撃的言語データセットからの転移学習は、低リソースのコードミックスド・ドラヴィダ語テキストにおける攻撃的言語検出を改善できるか？
• RQ2 敵対的訓練やマスクド言語モデルなどの異なるファインチューニング戦略は、コードミックスド・マラヤラム語-英語コメントにおけるモデル性能にどのように影響するか？
• RQ3 データセットのクラス不均衡および非攻撃的コンテンツが誤って攻撃的とラベル付けされることが、モデルの一般化性能およびF1スコアにどの程度影響を与えるか？
• RQ4 この低リソース・コードミックスド環境において、従来の機械学習モデルとトランスフォーマー基盤のモデルは、どのように比較されるか？

主な発見

• XLM-RoBERTaを転移学習および敵対的訓練（ASE）でファインチューニングしたモデル（XLM-R (TL) + ASE）が、テストセットで最高の重み付きF1スコア0.89を達成し、参加者12名中5位を記録した。
• 最高性能を示したモデル、すなわちXLM-R (TL)にASEと言語モデルファインチューニングを組み合わせたモデルは、重み付きF1スコア0.93を達成し、攻撃的クラスでは97%の精度と95%の再現率を示した。
• トランスフォーマーの高い性能にもかかわらず、従来のランダムフォレストモデルが大多数のトランスフォーマー基盤モデルを上回り、重み付きF1スコア0.87を達成した。これは、低リソースのドラヴィダ語言語における多言語モデル表現に潜在的な制限がある可能性を示唆している。
• データセットには顕著なクラス不均衡が見られ、訓練例3,200件中攻撃的例は567件にとどまり、定性的な分析では約20–25%の「攻撃的」とラベル付けされた例が実際には非攻撃的であると判断された。これはアノテーションノイズの可能性を示している。
• OLIDデータセットからの転移学習の活用は、特に少数派の攻撃的クラスの性能向上に顕著に寄与し、すべてのモデルで再現率およびF1スコアの向上が確認された。
• 敵対的訓練および言語モデルファインチューニング戦略は、モデルの頑健性および一般化性能を一貫して向上させ、特にXLM-Rベースのモデルで最も顕著な結果が得られた。