[論文レビュー] Emotion Detection with Transformers: A Comparative Study

Mahdi Rezapour|arXiv (Cornell University)|Mar 18, 2024

Emotion and Mood Recognition被引用数 6

ひとこと要約

本論文は、テキストにおける感情分類のための複数の事前学習済みトランスフォーマーモデルを比較し、ファインチューニング、レイヤーの訓練可能性、前処理が性能に与える影響を分析する。結果として、句読点とストップワードを削除するなどの過剰な前処理は性能を低下させる可能性があることを明らかにした。

ABSTRACT

In this study, we explore the application of transformer-based models for emotion classification on text data. We train and evaluate several pre-trained transformer models, on the Emotion dataset using different variants of transformers. The paper also analyzes some factors that in-fluence the performance of the model, such as the fine-tuning of the transformer layer, the trainability of the layer, and the preprocessing of the text data. Our analysis reveals that commonly applied techniques like removing punctuation and stop words can hinder model performance. This might be because transformers strength lies in understanding contextual relationships within text. Elements like punctuation and stop words can still convey sentiment or emphasis and removing them might disrupt this context.

研究の動機と目的

• 標準的なテキスト感情データセット上で感情分類のための複数の事前学習済みトランスフォーマーモデルを評価する。
• ファインチューニング戦略と訓練可能なトランスフォーマーのレイヤーがモデル性能に与える影響を分析する。
• 前処理手順がトランスフォーマーを用いた感情検出に与える影響を調査する。

提案手法

• Emotionデータセット上で感情分類のためにいくつかの事前学習済みトランスフォーマーモデルを訓練・評価する。
• さまざまなトランスフォーマーのバリアントとファインチューニング構成を用いた実験を行う。
• ファインチューニング時にどのレイヤーが訓練可能かの影響を評価する。
• 句読点やストップワードの処理など前処理の選択とそれが性能に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 Emotionデータセットにおける感情分類で最良の性能を示す事前学習済みトランスフォーマーモデルはどれか？
• RQ2 ファインチューニングとレイヤーの訓練可能性の選択は感情検出の正確性にどのように影響するか？
• RQ3 句読点の削除やストップワードの除去など、一般的な前処理手順がトランスフォーマーを用いた感情分類にどのような影響を与えるか？

主な発見

• トランスフォーマーは文脈的な関係を捉える能力を持つため、過度な前処理（句読点の削除やストップワードの削除）は性能を低下させる可能性がある。
• ファインチューニングの決定とどのレイヤーが更新されるかが結果に大きく影響する。
• 前処理の選択はモデルの性能を変動させ、NLPパイプラインにおける一般的な前処理習慣に挑戦を与える。