[論文レビュー] Cross-lingual Emotion Intensity Prediction

Irean Navas Alejo, Toni Badía+1 more|arXiv (Cornell University)|Apr 8, 2020

Sentiment Analysis and Opinion Mining参考文献 38被引用数 4

ひとこと要約

本論文は、機械翻訳とクロスリンガル埋め込みを用いて、英語からスペイン語およびカタルーニャ語への感情強度回帰の転送を実現する、最初のクロスリンガルアプローチを提示する。驚くべきことに、教師あり機械翻訳とクロスリンガル埋め込みよりも、教師なし機械翻訳が優れている。これは、感情を含むハッシュタグの処理が優れているためであり、研究者らは今後の研究のための新しいアノテート済みデータセットとコードを公開した。

ABSTRACT

Emotion intensity prediction determines the degree or intensity of an emotion that the author expresses in a text, extending previous categorical approaches to emotion detection. While most previous work on this topic has concentrated on English texts, other languages would also benefit from fine-grained emotion classification, preferably without having to recreate the amount of annotated data available in English in each new language. Consequently, we explore cross-lingual transfer approaches for fine-grained emotion detection in Spanish and Catalan tweets. To this end we annotate a test set of Spanish and Catalan tweets using Best-Worst scaling. We compare six cross-lingual approaches, e.g., machine translation and cross-lingual embeddings, which have varying requirements for parallel data -- from millions of parallel sentences to completely unsupervised. The results show that on this data, methods with low parallel-data requirements perform surprisingly better than methods that use more parallel data, which we explain through an in-depth error analysis. We make the dataset and the code available at \url{https://github.com/jerbarnes/fine-grained_cross-lingual_emotion}

研究の動機と目的

• スペイン語やカタルーニャ語のような低リソース言語における、微細な感情強度データセットの不足を解消すること。
• 並列データに依存を最小限に抑えることにより、感情強度予測のクロスリンガル転送手法を評価すること。
• 低リソース環境下で、教師あり機械翻訳、教師なし機械翻訳、またはクロスリンガル埋め込みのうち、どれが最も優れた性能を示すかを調査すること。
• 今後の研究のため、スペイン語およびカタルーニャ語のツイートに感情強度スコアをアノテートした新しいアノテート済みデータセットを公開すること。

提案手法

• ベスト・ワーストスケーリングを用いて、スペイン語およびカタルーニャ語のツイートのテストセットをアノテートし、微細な感情強度スコアを取得した。
• 6種類のクロスリンガル転送手法を評価した：数百万の並列文を用いた教師あり機械翻訳、教師なし機械翻訳、並列データの要件が異なるクロスリンガル埋め込み。
• 英語の感情強度データで回帰モデルを訓練し、翻訳または埋め込みのアライメントを通じてクロスリンガル転送を実施した。
• n-gram、文字、絵文字、ハッシュタグ、感情リソース、感情スコアリソースの特徴量を用いて、モデル性能を向上させた。
• 特徴量の重要度を評価するためのアブレーションスタディを実施し、とりわけ感情スコアリソースおよび感情リソースの役割を検証した。
• 翻訳品質と特徴量の関連性を比較するため、定性的および定量的誤差分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 低リソース言語における感情強度予測において、教師あり翻訳、教師なし翻訳、またはクロスリンガル埋め込みのうち、どのクロスリンガル転送手法が最も優れているか？
• RQ2 並列データの可用性が、クロスリンガル感情強度予測のモデル性能にどのように影響するか？
• RQ3 教師あり翻訳は全体的な翻訳品質が優れているにもかかわらず、なぜ教師なし翻訳が優れているのか？
• RQ4 ハッシュタグは感情強度予測にどの程度貢献しているか、また、異なる翻訳手法間でハッシュタグはどの程度正確に保持されているか？
• RQ5 感情スコアリソースおよび感情リソース特徴量は、クロスリンガル感情強度モデリングにおいてどの程度重要か？

主な発見

• 教師なし機械翻訳が、スペイン語およびカタルーニャ語の全感情において最良のパフォーマンスを示し、教師あり翻訳およびクロスリンガル埋め込み手法を上回った。
• 教師なしモデルの優れたパフォーマンスは、主に、SNSのテキストで重要な感情的側面を担うハッシュタグを正確に保持できる点に起因する。
• 教師あり翻訳は、全体的な翻訳品質が優れているにもかかわらず、ハッシュタグを正しく翻訳できないことが頻発し、これがパフォーマンスの劣化を引き起こしている。
• リソース特徴量、特にNRC感情スコアリソースが最も重要な特徴量であり、それらを削除するとクロスリンガルモデルの性能が偶然レベルまで低下した。
• n-gram特徴量は怒り、恐怖、喜びの予測において最も効果的であったが、悲しみの予測では、それらを削除することで性能が向上することもあり、特徴量に冗長性やノイズが存在することが示唆された。
• XLM-RoBERTaは、最良のクロスリンガル手法とほぼ同等の性能を示したが、英語のリソースと組み合わせられなかったため、この設定ではその有用性が制限された。