[論文レビュー] Emoji-Powered Representation Learning for Cross-Lingual Sentiment Classification

Zhenpeng Chen, Sheng Shen+4 more|arXiv (Cornell University)|Jun 7, 2018

Sentiment Analysis and Opinion Mining参考文献 79被引用数 6

ひとこと要約

本稿では、絵文字を感情ラベルの代理として、および学習信号として活用することで、多言語間および言語固有の感情表現を学習する、新しい絵文字駆動型表現学習フレームワークであるELSAを提案する。多言語のツイートを用いた統合的学習により、ELSAは、特にフランス語およびドイツ語のデータセットにおいて、翻訳ベースのベースラインを上回る、最先端の性能を達成する。これは、ラベル付きデータが限られる状況でも顕著である。

ABSTRACT

Sentiment classification typically relies on a large amount of labeled data. In practice, the availability of labels is highly imbalanced among different languages, e.g., more English texts are labeled than texts in any other languages, which creates a considerable inequality in the quality of related information services received by users speaking different languages. To tackle this problem, cross-lingual sentiment classification approaches aim to transfer knowledge learned from one language that has abundant labeled examples (i.e., the source language, usually English) to another language with fewer labels (i.e., the target language). The source and the target languages are usually bridged through off-the-shelf machine translation tools. Through such a channel, cross-language sentiment patterns can be successfully learned from English and transferred into the target languages. This approach, however, often fails to capture sentiment knowledge specific to the target language, and thus compromises the accuracy of the downstream classification task. In this paper, we employ emojis, which are widely available in many languages, as a new channel to learn both the cross-language and the language-specific sentiment patterns. We propose a novel representation learning method that uses emoji prediction as an instrument to learn respective sentiment-aware representations for each language. The learned representations are then integrated to facilitate cross-lingual sentiment classification. The proposed method demonstrates state-of-the-art performance on benchmark datasets, which is sustained even when sentiment labels are scarce.

研究の動機と目的

• 特に英語以外の言語においてラベル付き感情データが不足していることによる不均衡を是正すること。
• 機械翻訳に基づく多言語感情分類の限界を克服すること。これは、しばしば言語固有の感情表現を保持できないためである。
• 絵文字の多言語的普遍性を活用し、共通の感情的信号として用いることで、一般および言語固有の感情表現を学習すること。
• 大規模な並列コーパスに依存せずに、絵文字予測を自己教師付き信号として用いる表現学習手法を開発すること。
• ラベル付きデータが限られる状況において、従来の手法を上回る性能を示す、絵文字ベースの監視が有効であることを実証すること。

提案手法

• 絵文字予測を自己教師付き信号として用い、共有および言語固有のテキストエンコーダーを学習するマルチタスク学習フレームワークを導入する。
• ソース言語およびターゲット言語のための別個のエンコーダーを備えた、シアンズ型のアーキテクチャを採用し、多言語文の表現を統合的に学習する。
• 感情ラベルが明示的に与えられていない状況でも、絵文字予測を感情の代理として用いることで、大規模な多言語ツイートを用いて事前学習する。これにより、感情に敏感な表現を学習可能となる。
• 事前学習後、ターゲット言語の少量のラベル付きデータを用いて微調整し、下流の感情分類タスクに学習済み表現を活用する。
• 単語埋め込みとCNNベースのアーキテクチャを用い、絵文字予測および分類ヘッドの前段で文脈特徴を抽出する。
• 絵文字予測と感情分類の両方を同時に最適化することで、多言語間のアライメントと言語固有の適応を統合する。

Figure 1. The workflow of ELSA.

実験結果

リサーチクエスチョン

• RQ1 複数の言語にわたり、絵文字が感情の信頼できる代理として機能し得るか。これは、多言語表現学習の向上に寄与するか。
• RQ2 自己教師付き信号としての絵文字予測を用いることで、翻訳ベースの手法と比較して、リソースが限られた感情分類においてより優れた性能が得られるか。
• RQ3 モデルは、多言語間の転送性を維持しつつ、どの程度言語固有の感情パターンを捉えることができるか。
• RQ4 ラベル付きデータの量が減少するに従って、絵文字駆動型手法の性能はどのように変化するか。
• RQ5 データが不足する状況下で、既存の最先端手法を上回る性能を示せるか。

主な発見

• ELSAはフランス語ツイートでテスト精度0.696、ドイツ語ツイートで0.809を達成し、ベースラインのMT-CNNモデル（それぞれ0.535および0.654）を顕著に上回った。
• McNemar検定による検証により、フランス語およびドイツ語の両方で、ELSAの性能向上は統計的に有意（p < 0.05）であることが確認された。
• ラベル付きデータが限られる状況でも、ELSAは強固な性能を維持しており、リソースが限られた環境でも有効であることが示された。
• 均等なランダム予測ベースライン（フランス語：0.451、ドイツ語：0.628）を上回ったため、単なる確率的予測を超えた意味のある学習が行われていることが示された。
• 先行研究が使用した3億の生のツイートよりも少ない、8100万の生のツイートおよび1370万の絵文字を含むツイート（合計で300M未満）しか使用していないにもかかわらず、ELSAは優れた結果を達成しており、データ効率が優れていることが示唆された。
• 結果から、絵文字ベースの自己教師付き学習が、翻訳ベースの手法と比較して、一般および言語固有の感情パターンをより効果的に捉えていることが示された。

Figure 2. Network architecture for representation learning through emoji prediction.