[論文レビュー] WLV-RIT at GermEval 2021: Multitask Learning with Transformers to Detect Toxic, Engaging, and Fact-Claiming Comments

Skye Morgan, Tharindu Ranasinghe+1 more|arXiv (Cornell University)|Jul 30, 2021

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本論文は、GermEval 2021 への WLV-RIT の参加を記録し、ドイツ語最適化トランスフォーマーモデル（gBERT および gELECTRA）を用いたマルチタスク学習（MTL）アプローチを提案する。このアプローチは、有毒、エンゲージング、事実主張のコメントを同時に検出することを目的としている。MTLは、3つのタスクすべてにおいて単一タスク学習（STL）を顕著に上回り、最高のシステムでは、事実主張タスクで F1 スコア 0.7653、エンゲージングコメントで 0.7198 を達成した。

ABSTRACT

This paper addresses the identification of toxic, engaging, and fact-claiming comments on social media. We used the dataset made available by the organizers of the GermEval-2021 shared task containing over 3,000 manually annotated Facebook comments in German. Considering the relatedness of the three tasks, we approached the problem using large pre-trained transformer models and multitask learning. Our results indicate that multitask learning achieves performance superior to the more common single task learning approach in all three tasks. We submit our best systems to GermEval-2021 under the team name WLV-RIT.

研究の動機と目的

• ドイツ語ソーシャルメディアプラットフォームにおける、複数のタイプのユーザーコメント（有毒、エンゲージング、事実主張）を検出する課題に対処すること。
• 関連する分類タスクとしてのこれらのタスクにおいて、共有トランスフォーマーレプリゼンテーションを用いたマルチタスク学習（MTL）が、単一タスク学習（STL）よりも性能を向上させるかどうかを調査すること。
• マルチタスク学習（MTL）の文脈において、事前学習言語モデル（LM）のファインチューニングがモデル性能に与える影響を評価すること。
• この共通タスクにおいて、多言語 BERT（mBERT）とドイツ語固有の大規模言語モデル（gBERT および gELECTRA）の有効性を比較すること。
• GermEval 2021 共同タスクに最良のパフォーマンスを示すシステムを提出し、テストセットにおけるそのパフォーマンスを分析すること。

提案手法

• GermEval 2021 データセットに対して、mBERT、gBERT、gELECTRA の大規模事前学習トランスフォーマーモデルをファインチューニングし、3つの関連分類タスクを実行する。
• 1つのモデルが同時に3つのラベル（有毒、エンゲージング、事実主張）を予測するマルチタスク学習（MTL）フレームワークを実装する。
• 共有表現学習によるパフォーマンス向上を評価するために、MTL と単一タスク学習（STL）を比較する。
• 一般化を向上させるために、ファインチューニング中に補助的目的としてマスクド言語モデル（MLM）事前学習（LM）を統合する。
• 異なるランダムシードを持つ5つのモデルの多数決による予測を用いて、予測の堅牢性を向上させる。
• バリデーションセットのパフォーマンスを基に、ハイパーパrameter（初期学習率 = 1e-5、エポック数 = 3、バッチサイズ = 8）を最適化し、早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 共有トランスフォーマーレプリゼンテーションを用いたマルチタスク学習（MTL）は、単一タスク学習（STL）と比較して、有毒、エンゲージング、事実主張のコメント検出においてパフォーマンスを向上させるか？
• RQ2 このマルチラベル分類タスクにおいて、ドイツ語固有の大規模言語モデル（gBERT、gELECTRA）と多言語 BERT（mBERT）の性能はどのように比較されるか？
• RQ3 マスクド言語モデル（LM）による事前学習をファインチューニング段階で組み込むことで、MTL設定におけるパフォーマンスはどの程度向上するか？
• RQ4 モデルアーキテクチャとトレーニング戦略（MTL 対 STL、LM 有効対無効）のどの組み合わせが、3つのタスクすべてで最高の F1 スコアを達成するか？
• RQ5 関連するタスク間で共有学習を行うことで、ドイツ語ソーシャルメディアテキストのような低リソース NLP シナリオにおいて、計算コストを削減しながらパフォーマンスを向上させられるか？

主な発見

• マルチタスク学習（MTL）は、3つのタスクすべてにおいて単一タスク学習（STL）を一貫して上回り、MTL設定で最高の F1 スコアが達成された。
• 言語モデル（LM）と MTL を併用した gELECTRA モデルが、全体として最高のパフォーマンスを示し、有毒コメントで F1 スコア 0.7342、エンゲージングコメントで 0.7198、事実主張コメントで 0.7653 を達成した。
• gELECTRA および gBERT は、mBERT をすべてのタスクで上回り、言語固有の事前学習がドイツ語テキストのタスクでパフォーマンス向上に寄与することを示した。
• ファインチューニング段階で言語モデル（LM）を組み込むことで、特に MTL の設定においてパフォーマンスが向上した。
• 最高のパフォーマンスを示したモデル（gELECTRA に LM+MTL、gELECTRA に MTL、gBERT に LM+MTL）は、3つのタスクすべてでテストセットで上位3位以内にランクインした。
• 結果から、MTL による共有表現学習が、特に意味的に関連するタスクにおいて、一般化性能と効率性を向上させることを確認した。