[論文レビュー] ArmanEmo: A Persian Dataset for Text-based Emotion Detection

Hossein Mirzaee, Javad Peymanfard+2 more|arXiv (Cornell University)|Jul 24, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、7つの感情（エクマンの6つの基本的感情と「その他」カテゴリを含む）をラベル付けした、7,000件を超える文を含む高品質で人間がアノテートしたペルシャ語テキスト感情データセット「ArmanEmo」を紹介する。著者らはArmanEmo上で最先端のトランスフォーマー基盤モデルを訓練し、マクロF1スコア75.39を達成した。さらに、転移学習を通じて、ArmanEmoがEmoParsなどの既存のペルシャ語感情データセットよりも顕著に優れた汎化性能を示すことを実証した。

ABSTRACT

With the recent proliferation of open textual data on social media platforms, Emotion Detection (ED) from Text has received more attention over the past years. It has many applications, especially for businesses and online service providers, where emotion detection techniques can help them make informed commercial decisions by analyzing customers/users' feelings towards their products and services. In this study, we introduce ArmanEmo, a human-labeled emotion dataset of more than 7000 Persian sentences labeled for seven categories. The dataset has been collected from different resources, including Twitter, Instagram, and Digikala (an Iranian e-commerce company) comments. Labels are based on Ekman's six basic emotions (Anger, Fear, Happiness, Hatred, Sadness, Wonder) and another category (Other) to consider any other emotion not included in Ekman's model. Along with the dataset, we have provided several baseline models for emotion classification focusing on the state-of-the-art transformer-based language models. Our best model achieves a macro-averaged F1 score of 75.39 percent across our test dataset. Moreover, we also conduct transfer learning experiments to compare our proposed dataset's generalization against other Persian emotion datasets. Results of these experiments suggest that our dataset has superior generalizability among the existing Persian emotion datasets. ArmanEmo is publicly available for non-commercial use at https://github.com/Arman-Rayan-Sharif/arman-text-emotion.

研究の動機と目的

• 自然言語処理研究における、高品質で手作業でアノテートされたペルシャ語テキスト感情データセットの不足を解消すること。
• 深層学習を用いて、ペルシャ語におけるテキストベースの感情検出の性能と汎化能力を向上させること。
• 今後のペルシャ語感情検出分野の研究のためのベンチマークデータセットと強力なベースラインモデルを提供すること。
• 転移学習を用いて、ArmanEmoが既存のペルシャ語感情データセット（例：EmoPars）と比較してどれほど優れた汎化能力を示すかを評価すること。
• 顧客の感情分析や感情知能を持つチャットボットなど、ペルシャ語向けの感情認識アプリケーションの開発を支援すること。

提案手法

• Twitter、Instagram、およびイランのECプラットフォーム「Digikala」など、多様なソースから7,000件を超えるペルシャ語テキストサンプルを収集した。
• 明確なラベル付けガイドラインを設け、ノイズを低減するために、5人のアノテーターのうち少なくとも3人が同一の感情を特定した文（支配的ないくつかの感情）のみを採用するという厳密な人間によるアノテーション手順を採用した。
• エクマンの6つの基本的感情（怒り、恐怖、喜び、憎しみ、悲しみ、驚き）に加え、「その他」カテゴリを含む7クラスの感情スキーマを採用した。
• ArmanEmoデータセット上で、XLM-RoBERTa-large や ParsBERT といった複数の最先端のトランスフォーマー基盤モデルを、感情分類のための訓練に使用した。
• ペルシャ語データへのファインチューニングなしで性能を評価するために、多言語感情モデル「XLM-EMO」を用いたゼロショット評価を実施した。
• ArmanEmoとEmoParsでファインチューニングされたモデルの性能を比較する転移学習実験を行い、両方のテストセットで性能を評価することで、汎化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 ArmanEmoで訓練された感情検出モデルの性能は、EmoParsなどの既存のペルシャ語感情データセットで訓練されたモデルと比べてどの程度優れているか？
• RQ2 ArmanEmoは他のペルシャ語感情データセットと比較して、未知のデータに対してどれほど優れた汎化性能を示すか？
• RQ3 XLM-EMO といった多言語感情モデルは、ペルシャ語感情データへのファインチューニングなしで、ペルシャ語テキストに対して競争力のある性能を達成できるか？
• RQ4 ラベル品質とアノテーションの一貫性は、低リソースな感情検出タスクにおけるモデルの汎化能力にどのような影響を及えるか？
• RQ5 最先端のトランスフォーマー基盤モデルは、ペルシャ語のような形態素が豊富な低リソース言語における感情検出に、どの程度効果的に機能するか？

主な発見

• ArmanEmoで最も優れた性能を示したモデル、XLM-RoBERTa-large は、テストセットでマクロ平均F1スコア75.39を達成した。
• ArmanEmoでファインチューニングされたモデルは、EmoParsのテストセットで26.68 F1を達成したのに対し、EmoParsでファインチューニングされたモデルは6.96 F1にとどまり、19ポイント以上優れた性能を示した。
• ArmanEmoは、ArmanEmoおよびEmoParsの両方のテストセットで顕著に優れた性能を示しており、EmoParsよりも優れた汎化性能を示した。
• XLM-EMOのゼロショット性能はArmanEmoで75.28 F1を記録し、ペルシャ語データへのファインチューニングなしでも強力な言語間転送性を示している。
• EmoParsで訓練されたモデルは、EmoParsテストセットで6.96 F1と極めて低い性能を示しており、クラウドソーシング手法に起因する高いラベルノイズが原因であると考えられる。
• ArmanEmoでは、支配的ないくつかの感情に絞り込み、曖昧または複数ラベルが付与されたインスタンスを除外するという厳密なアノテーション手順を採用した。その結果、よりクリアで高品質なデータセットが得られ、下流タスクでの性能向上が実現した。