[論文レビュー] Emoji Prediction: Extensions and Benchmarking

Weicheng Ma, Ruibo Liu+2 more|arXiv (Cornell University)|Jul 14, 2020

Sentiment Analysis and Opinion Mining参考文献 9被引用数 11

ひとこと要約

この論文は、基本的な感情を表す絵文字にとどまらず、多様な絵文字を含む多ラベル・マルチクラスのタスクに絵文字予測を拡張し、Twitterから抽出された新しいベンチマークデータセットを用いて、トランスフォーマーに基づくモデルを提案する。BERTモデルは、精度で前人最高の27.21%から236.36%の向上を達成し、F-1スコアでは最大346.79%の向上を示しており、会話的意図を絵文字を通じて理解するための深層文脈モデルの有効性を実証している。

ABSTRACT

Emojis are a succinct form of language which can express concrete meanings, emotions, and intentions. Emojis also carry signals that can be used to better understand communicative intent. They have become a ubiquitous part of our daily lives, making them an important part of understanding user-generated content. The emoji prediction task aims at predicting the proper set of emojis associated with a piece of text. Through emoji prediction, models can learn rich representations of the communicative intent of the written text. While existing research on the emoji prediction task focus on a small subset of emoji types closely related to certain emotions, this setting oversimplifies the task and wastes the expressive power of emojis. In this paper, we extend the existing setting of the emoji prediction task to include a richer set of emojis and to allow multi-label classification on the task. We propose novel models for multi-class and multi-label emoji prediction based on Transformer networks. We also construct multiple emoji prediction datasets from Twitter using heuristics. The BERT models achieve state-of-the-art performances on all our datasets under all the settings, with relative improvements of 27.21% to 236.36% in accuracy, 2.01% to 88.28% in top-5 accuracy and 65.19% to 346.79% in F-1 score, compared to the prior state-of-the-art. Our results demonstrate the efficacy of deep Transformer-based models on the emoji prediction task. We also release our datasets at https://github.com/hikari-NYU/Emoji_Prediction_Datasets_MMS for future researchers.

研究の動機と目的

• 感情を表す絵文字の限定的なセットにとどまらず、より広範かつ表現力に富んだ絵文字を含む絵文字予測タスクへの拡張。
• 複数の絵文字を1つのテキストに対して予測可能な多ラベル分類を可能にし、現実世界の使用状況を反映する。
• ヒューリスティック手法を用いてTwitterデータを収集し、多様で大規模なベンチマークデータセットを構築する。
• この拡張された絵文字予測タスクにおける、深層トランスフォーマー基盤モデル、特にBERTの性能を評価すること。

提案手法

• 文脈表現学習のため、BERTを含むトランスフォーマー基盤アーキテクチャを用いた多ラベル絵文字予測フレームワークを提案する。
• テキスト内の長距離依存関係と絵文字の関連性をモデル化するため、マルチヘッドアテンション機構を設計する。
• 多様な絵文字-テキストペアを抽出するためにヒューリスティックを用い、異なる絵文字カバレッジを持つ複数のベンチマークデータセットを構築する。
• エンドツーエンドの絵文字予測を実現するため、構築したデータセット上で事前学習済みBERTモデルを微調整する。
• 多ラベル絵文字予測におけるクラス不均衡に対処するため、ラベルスムージングとフォーカル損失を適用する。
• 標準的な指標（精度、トップ5精度、F-1スコア）を用いて、すべての設定でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTのような深層トランスフォーマー基盤モデルは、広範な絵文字語彙を対象とした多ラベル絵文字予測に、効果的に一般化できるか？
• RQ2 感情を表す絵文字にとどまらず、より広範な絵文字を含むタスクに拡張することで、モデルの性能と表現学習にどのような影響を与えるか？
• RQ3 ヒューリスティックに基づくデータ収集手法が、信頼性が高く多様なトレーニングデータを提供できるか、その程度はいかほどか？
• RQ4 拡張された絵文字予測ベンチマークにおいて、BERTベースのモデルは、前人最高の手法に比べてどの程度の向上を達成するか？
• RQ5 異なる評価指標（精度、F-1、トップ5）は、多ラベル設定下での絵文字予測モデルの性能をどの程度適切に反映しているか？

主な発見

• BERTモデルは、すべてのデータセットと設定において、前人最高の手法に比べて精度で27.21%から236.36%の相対的向上を達成した。
• トップ5精度は、前人最高の手法に比べて2.01%から88.28%の相対的向上を示しており、候補絵文字の順位付けの精度が向上していることを示している。
• F-1スコアは、前回の最高値に比べて65.19%から346.79%の相対的向上を示しており、優れた多ラベル予測性能を実証している。
• 提案された多様な絵文字を含む多ラベル設定は、単一ラベル・感情のみの設定と比較して、会話的意図の学習を顕著に向上させている。
• 公開されたデータセットは、今後の研究のための堅牢なベンチマークを提供しており、多様かつ現実的な絵文字予測タスクを支援している。
• 結果から、BERTのような深層文脈モデルが、絵文字-テキストペアにおける微細なマルチモーダル信号を効果的に捉えることができることが確認された。