[論文レビュー] Hate-Alert@DravidianLangTech-EACL2021: Ensembling strategies for Transformer-based Offensive language Detection.

Debjoy Saha, Naman Paharia+3 more|arXiv (Cornell University)|Apr 1, 2021

Hate Speech and Cyberbullying Detection参考文献 32被引用数 4

ひとこと要約

この論文では、低リソースのドゥラヴィダ語（タミル語、カンナダ語、マラヤーラム語）における攻撃的言語検出のため、微調整されたトランスフォーマー・モデルのアンサンブルを提案し、モデル結合を最適化するために遺伝的アルゴリズムを用いる。2021年EACLの共同タスクにおいて、タミル語とマラヤーラム語で1位、カンナダ語で2位を達成し、最先端のパフォーマンスを発揮した。

ABSTRACT

Social media often acts as breeding grounds for different forms of offensive content. For low resource languages like Tamil, the situation is more complex due to the poor performance of multilingual or language-specific models and lack of proper benchmark datasets. Based on this shared task “Offensive Language Identification in Dravidian Languages” at EACL 2021; we present an exhaustive exploration of different transformer models, We also provide a genetic algorithm technique for ensembling different models. Our ensembled models trained separately for each language secured the first position in Tamil, the second position in Kannada, and the first position in Malayalam sub-tasks. The models and codes are provided.

研究の動機と目的

• 既存の多言語モデルや言語固有のモデルが性能を発揮できない低リソースのドゥラヴィダ語における攻撃的言語検出の課題に対処すること。
• タミル語、カンナダ語、マラヤーラム語における攻撃的言語同定のための強固で言語固有のアプローチを開発すること。
• 低リソース言語のデータセットにおけるパフォーマンスを向上させる有効なアンサンブル戦略を調査すること。
• 多様なトランスフォーマー・アーキテクチャを対象とした、遺伝的アルゴリズムを用いたモデルアンサンブル重みの最適化手法を導入すること。

提案手法

• タミル語、カンナダ語、マラヤーラム語の言語固有の攻撃的言語データセット上で、複数の事前学習済みトランスフォーマー・モデル（例：mBERT、XLM-R）を微調整する。
• モデルのパフォーマンスをフィットネス関数と見なし、複数の個々のモデル間での最適なアンサンブル重みを探索するため、遺伝的アルゴリズムを適用する。
• 収束性と一般化性能を向上させるために、訓練中に早期停止と学習率スケジューリングを適用する。
• 言語固有性を保つために、各言語ごとに別々のモデルを訓練する。
• 遺伝的アルゴリズムにおいて、バリデーションF1スコアをフィットネス関数として使用してアンサンブルを最適化する。
• 最終的なアンサンブルをテストセットで評価し、3つのドゥラヴィダ語すべてにおけるパフォーマンスを測定する。

実験結果

リサーチクエスチョン

• RQ1 微調整されたトランスフォーマー・モデルは、タミル語、カンナダ語、マラヤーラム語のような低リソースのドゥラヴィダ語において、攻撃的言語検出で優れたパフォーマンスを発揮できるか？
• RQ2 低リソース環境における攻撃的言語検出のためのモデルアンサンブル最適化に、遺伝的アルゴリズムはどの程度効果的か？
• RQ3 この低リソースの文脈において、言語固有の微調整が多言語モデル（mBERT や XLM-R など）を上回る性能を発揮するか？
• RQ4 異なるアンサンブル戦略は、共同タスクにおけるF1スコアパフォーマンスにどのような影響を与えるか？
• RQ5 複数のモデルと自動化された重み最適化を組み合わせたハイブリッドアプローチは、個々のモデルを上回る性能を発揮できるか？

主な発見

• アンサンブルモデルはタミル語サブタスクで最高のF1スコアを達成し、共同タスクで1位を獲得した。
• カンナダ語サブタスクで2位を獲得し、ドゥラヴィダ語間での高い一般化性能を示した。
• マラヤーラム語サブタスクで1位を獲得し、この低リソース言語において非常に高い有効性を示した。
• 遺伝的アルゴリズムに基づくアンサンブル戦略は、個々のモデルや標準的な平均化手法よりも顕著にパフォーマンスを向上させた。
• 言語固有の微調整により、mBERT や XLM-R などの多言語モデルに依存するのとは対照的に、より優れた結果が得られた。
• 提案手法は、限定的なアノテーションデータを有する3つの異なるドゥラヴィダ語において、強固でスケーラブルな性能を示した。