[論文レビュー] FHAC at GermEval 2021: Identifying German toxic, engaging, and fact-claiming comments with ensemble learning

Tobias Bornheim, Niklas Grieger+1 more|arXiv (Cornell University)|Sep 7, 2021

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

この論文は、GermEval 2021 共同タスクにおいて、ドイツ語の Facebook コメントを有毒、エンゲージメント、事実主張の3つのカテゴリに分類するため、微調整済みのドイツ語 BERT および ELECTRA モデルのアンサンブルを提案している。200体を超えるモデルを用いたソフトメジャリティ投票により、最良のアンサンブルはマクロ-F1スコア 0.73 を達成した。これは、アンサンブルサイズが増加するほど性能が向上し、モデル構成やマルチラベル vs. シングルラベル学習の違いに対してもロバストであることを示している。

ABSTRACT

The availability of language representations learned by large pretrained neural network models (such as BERT and ELECTRA) has led to improvements in many downstream Natural Language Processing tasks in recent years. Pretrained models usually differ in pretraining objectives, architectures, and datasets they are trained on which can affect downstream performance. In this contribution, we fine-tuned German BERT and German ELECTRA models to identify toxic (subtask 1), engaging (subtask 2), and fact-claiming comments (subtask 3) in Facebook data provided by the GermEval 2021 competition. We created ensembles of these models and investigated whether and how classification performance depends on the number of ensemble members and their composition. On out-of-sample data, our best ensemble achieved a macro-F1 score of 0.73 (for all subtasks), and F1 scores of 0.72, 0.70, and 0.76 for subtasks 1, 2, and 3, respectively.

研究の動機と目的

• ドイツ語 NLP タスクにおけるアンサンブルサイズ、構成、およびマルチラベル vs. シングルラベル学習の分類性能への影響を調査すること。
• GermEval 2021 共同タスクにおいて、微調整済みのドイツ語 BERT (GBERT) および ELECTRA (GELECTRA) モデルの性能を、有毒・エンゲージメント・事実主張コメントの識別タスクで評価すること。
• この文脈において、マルチラベルモデルがラベル相関を活用することで、シングルラベルモデルを上回る性能を示すかどうかを特定すること。
• モデルアーキテクチャおよび事前学習目的が、リソースが限られたドイツ語 NLP 環境における下流分類性能に与える影響を分析すること。

提案手法

• GermEval 2021 データセット（匿名化された 3,244 件の Facebook コメント）を用いて、多言語ドイツ語 BERT (GBERT) および ELECTRA (GELECTRA) モデルを微調整した。
• 一般化性能およびロバスト性を向上させるために、複数の微調整済みモデルを用いたソフトメジャリティ投票によるモデルアンサンブルを構築した。
• 1000 個の再サンプリングされたアンサンブル（最大 100 メンバーまで）を用いたブートストラップ実験を、5 折り交差検証を用いて実施し、性能のトレンドを調査した。
• 100% GBERT、100% GELECTRA、50/50 GBERT-GELECTRA 組み合わせのアンサンブルを比較した。また、マルチラベルおよびシングルラベル分類器の設定も比較した。
• 最終提出のため、全訓練データ上で 200 個のマルチラベルアンサンブルと 200 個のマルチラベルアンサンブル、および 30 個のシングルラベルアンサンブルを訓練・評価した。
• すべてのサブタスクでマクロ-F1 を主評価指標として用い、5 回の交差検証の平均値を性能指標とした。

実験結果

リサーチクエスチョン

• RQ1 ドイツ語の有毒・エンゲージメント・事実主張コメントの分類において、アンサンブルメンバー数を増やすことでマクロ-F1 スコアが向上するか？
• RQ2 特に、GBERT と GELECTRA モデルの混合割合が分類性能に影響を与えるか？
• RQ3 このマルチ分類タスクにおいて、ラベル相関を活用するマルチラベルモデルは、シングルラベルモデルを上回る性能を示すか？
• RQ4 あるアンサンブルサイズを超えると、性能向上の効果が飽和するか？

主な発見

• 最良のアンサンブルは、テストセットでマクロ-F1 スコア 0.73 を達成した。サブタスク 1（有毒）では 0.72、サブタスク 2（エンゲージメント）では 0.70、サブタスク 3（事実主張）では 0.76 の F1 スコアを示した。
• アンサンブルサイズが増加するにつれて分類性能が向上し、特に 15 メンバー程度までは大きな向上が見られたが、30 メンバーを超えてからも改善が継続した。
• 30 メンバーを超えた後は、100% GELECTRA、100% GBERT、50/50 GBERT-GELECTRA のアンサンブル構成において、マクロ-F1 スコアに有意差は認められず、いずれの構成にも顕著な利点はなかった。
• 30 メンバーを超えるアンサンブルサイズでは、マルチラベルアンサンブルとシングルラベルアンサンブルの性能に統計的に有意な差は認められず、この文脈ではラベル相関の活用が結果に顕著な影響を与えないことが示唆された。
• 提出後、ソフトウェアバグにより、シングルラベルアンサンブル（30 GBERT + 30 GELECTRA）のスコアが誤って報告されたが、後で修正され、マクロ-F1 0.73 に修正された。これは、最良のアンサンブルと同一のスコアであった。
• 本研究では、アンサンブルサイズが性能に最も大きな影響を与えることが確認された。30 メンバーを超えると収束が見られ、モデル選択（GBERT 対 GELECTRA）は十分に大きなアンサンブルでは最終的な性能にほとんど影響を及ぼさないことが示された。