[論文レビュー] Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA

Diogo Cortiz|arXiv (Cornell University)|Apr 5, 2021

Emotion and Mood RecognitionPsychology被引用数 20

ひとこと要約

本研究では、専用データセットを用いて、BERT、DistilBERT、RoBERTa、XLNet、ELECTRAの5つの最先端トランスフォーマー・モデルの微調整された感情認識性能を評価している。F1スコアと推論速度を用いて性能を比較した結果、RoBERTaとELECTRAが最も高い正確性を達成した一方、DistilBERTは高い速度-正確性のトレードオフを示した。

ABSTRACT

This paper investigates how Natural Language Understanding (NLU) could be applied in Emotion Recognition, a specific task in affective computing. We finetuned different transformers language models (BERT, DistilBERT, RoBERTa, XLNet, and ELECTRA) using a fine-grained emotion dataset and evaluating them in terms of performance (f1-score) and time to complete.

研究の動機と目的

• 事前学習済みトランスフォーマー・モデルの微細調整された感情認識タスクへの有効性を評価すること。
• 共通の感情データセット上で、BERT、DistilBERT、RoBERTa、XLNet、ELECTRAの性能と推論効率を比較すること。
• 感情認識アプリケーションにおいて、モデルの正確性と計算効率の最適なバランスを特定すること。
• アーキテクチャの違いが感情分類の結果に与える影響について、実証的洞察を提供すること。

提案手法

• 標準的なトランスファー学習プロトコルに従い、微細調整された5つのトランスフォーマー・モデル（BERT、DistilBERT、RoBERTa、XLNet、ELECTRA）を、微細な感情データセット上で学習させた。
• 各モデルに対して標準的なハイパーパrameterと学習手順を用い、一貫した評価条件を確保した。
• 分類性能の評価に主にF1スコアを用い、感情ラベルにおける分類性能を評価した。
• 推論時間を測定し、計算効率とリアルタイム応用可能性を比較評価した。
• すべてのモデルに対して標準的なトークン化と系列分類ヘッドを採用し、アーキテクチャ間での一貫性を維持した。
• すべての比較において同一のデータセットを用いることで、公平かつ直接的なモデル評価を確保した。

実験結果

リサーチクエスチョン

• RQ1 微細な感情認識において、どのトランスフォーマー・モデルが最高のF1スコアを達成するか？
• RQ2 BERT、DistilBERT、RoBERTa、XLNet、ELECTRAの推論速度は、感情分類においてどのように比較されるか？
• RQ3 モデル圧縮（例：DistilBERT）は、フルサイズのモデルと比較して顕著な性能低下を引き起こすか？
• RQ4 自己回帰的（XLNet）と自己符号化的（BERT、RoBERTa）アーキテクチャは、感情認識においてどのように相互に比較されるか？
• RQ5 パラメータ数が多い、またはより多くのデータで事前学習されたモデル（例：RoBERTa、ELECTRA）は、より小さいか、少ない事前学習データで学習されたモデルに比べ、一貫して優れた性能を示すか？

主な発見

• RoBERTaは、すべてのモデルの中で最高のF1スコアを達成し、微細な感情分類において優れた性能を示した。
• ELECTRAも高いF1スコアを達成し、RoBERTaとほぼ同等で、BERTやXLNetを上回った。
• DistilBERTは、わずかにRoBERTaやELECTRAより低いが、依然として高いF1スコアを達成し、高い効率性を示した。
• 小型であるにもかかわらず、DistilBERTは他のすべてのモデルよりも顕著に高速な推論時間を示し、リアルタイム応用に適していた。
• BERTとXLNetは、RoBERTaやELECTRAと比較して低いF1スコアを示し、この特定のタスクにおいては効果がやや低いことが示された。
• F1スコアの観点での性能順位は、RoBERTa ≈ ELECTRA > DistilBERT > BERT > XLNet であった。