[論文レビュー] IIITT@LT-EDI-EACL2021-Hope Speech Detection: There is always Hope in Transformers

Karthik Puranik, Adeep Hande+3 more|arXiv (Cornell University)|Apr 19, 2021

Hate Speech and Cyberbullying Detection参考文献 34被引用数 14

ひとこと要約

本稿では、CharacterBERT、mBERT、MuRIL などのモデルを活用して、英語、タミル語、マラヤーラム語の3言語でソーシャルメディアのコメントにおける希望スピーチ（hope speech）を検出する多言語トランスフォーマー基盤の手法を提案する。英語ではF1スコア0.9356、マラヤーラム語では0.8545、タミル語では0.5926の最高スコアを達成し、有害発言に対抗するための肯定的で支援的ないわゆる希望スピーチを特定する分野における、ファインチューニングされたトランスフォーマーの有効性を示している。

ABSTRACT

In a world filled with serious challenges like climate change, religious and political conflicts, global pandemics, terrorism, and racial discrimination, an internet full of hate speech, abusive and offensive content is the last thing we desire for. In this paper, we work to identify and promote positive and supportive content on these platforms. We work with several transformer-based models to classify social media comments as hope speech or not-hope speech in English, Malayalam and Tamil languages. This paper portrays our work for the Shared Task on Hope Speech Detection for Equality, Diversity, and Inclusion at LT-EDI 2021- EACL 2021.

研究の動機と目的

• SNSプラットフォームにおける嫌がらせやいじめに対抗するため、肯定的で支援的なコンテンツを検出し、促進するという急増するニーズに対応すること。
• 英語、タミル語、マラヤーラム語の3言語において、ソーシャルメディアのコメントを希望スピーチまたは非希望スピーチに分類すること。特に多言語混在データに焦点を当てる。
• 低リソースのインド諸言語における希望スピーチ検出のための、さまざまな事前学習済みトランスフォーマーモデルの性能を評価すること。
• 危機的状況下において、希望、回復力、包摂のメッセージを特定し、拡散させることで、オンラインディス course の質を向上させること。

提案手法

• 共通タスクデータセットを用いて、BERT、RoBERTa、XLM-RoBERTa、mBERT、MuRIL、IndicBERT、CharacterBERT などの複数の多言語および単言語トランスフォーマーモデルをファインチューニングした。
• Common Crawl、Wikipedia、Dakshina などの多言語およびインド語コーパスで事前学習されたモデルを用い、トランスファー学習技術を適用した。
• トランスフォーマーエンコーダーの上に、ドレイン層およびBiLSTMアーキテクチャを組み合わせ、シーケンスモデリングおよび分類性能を向上させた。
• 特に英語およびマラヤーラム語のデータセットにおいて顕著なクラス不均衡の影響を軽減するため、データオーグメンテーションおよびクラスバランス調整技術を適用した。
• 全59,354件のコメントのうち10%をホールドアウトしたテストセットでモデルを評価し、主な指標として重み付きF1スコアを用いた。
• SNSテキストに一般的な未知語や標準でない綴りの影響を軽減するため、文字レベルの表現を活用するモデル、CharacterBERTを実装した。

実験結果

リサーチクエスチョン

• RQ1 タミル語やマラヤーラム語といった低リソースのインド諸言語において、希望スピーチ検出に最も効果的なトランスフォーマーベースのモデルは何か？
• RQ2 言語特性やデータ分布の違いにより、英語、タミル語、マラヤーラム語の各言語でモデルの性能にどのような差が生じるか？
• RQ3 クラス不均衡および多言語干渉が、希望スピーチ検出モデルの一般化性能にどの程度影響を与えるか？
• RQ4 ノイズが多く、多言語混在または標準でない表記がなされたSNSテキストにおいて、文字レベルの表現が性能向上に寄与するか？
• RQ5 mBERT や XLM-RoBERTa といった多言語モデルは、単語モデルや言語特化モデルに比べて、希望スピーチ検出においてどの程度優れているか？

主な発見

• CharacterBERTは英語テストセットでF1スコア0.9356を達成し、BERT、RoBERTa、DistilBERT など他のモデルを上回った。
• mBERT-uncasedにBiLSTMを組み合わせたモデルは、マラヤーラム語テストセットでF1スコア0.8545を記録し、他の多言語モデルを上回った。
• タミル語では、distilBERTが重み付きF1スコア0.5926を達成したが、検証からテストへの移行で性能が著しく低下した。これはデータ分布のシフトによるものと推察された。
• mBERT-casedにBiLSTMを適用したモデルは、検証時（0.6183）からテスト時でF1スコアが8%急低下し、過学習またはデータシフトの問題を示唆した。
• mBERT や XLM-RoBERTa といった多言語モデルは、テストセットで最大15%の性能低下を示した。これは、多言語混在テキストや非ネイティブスクリプトの干渉によるものと推定された。
• クラス不均衡および非英語言語の干渉が、特に英語およびマラヤーラム語のデータセットにおいて、モデルの一般化性能に顕著な影響を与えた。