[論文レビュー] Are Emojis Predictable?

Francesco Barbieri, Miguel Ballesteros+1 more|arXiv (Cornell University)|Feb 23, 2017

Advanced Text Analysis Techniques参考文献 20被引用数 16

ひとこと要約

この論文では、単語レベルと文字レベルの埋め込みを用いて、ツイートが引き起こす最も可能性の高い絵文字を予測するための双方向LSTM（BLSTM）ニューラルネットワークモデルを提案する。このモデルは、従来のベースラインと人間のアノテーターを上回り、F1スコア0.65を達成したのに対し、人間のF1スコアは0.50であった。これは、計算モデルがソーシャルメディアのテキストにおける絵文字使用の意味的・文脈的ニュアンスをよりよく捉えることができることを示している。

ABSTRACT

Emojis are ideograms which are naturally combined with plain text to visually complement or condense the meaning of a message. Despite being widely used in social media, their underlying semantics have received little attention from a Natural Language Processing standpoint. In this paper, we investigate the relation between words and emojis, studying the novel task of predicting which emojis are evoked by text-based tweet messages. We train several models based on Long Short-Term Memory networks (LSTMs) in this task. Our experimental results show that our neural model outperforms two baselines as well as humans solving the same task, suggesting that computational models are able to better capture the underlying semantics of emojis.

研究の動機と目的

• ソーシャルメディアにおけるテキストコンテンツと絵文字使用との間の予測的関係を調査すること。
• 与えられたツイートに関連する最も確率の高い絵文字を予測できる計算モデルの開発すること。
• ニューラルネットワークが人間のアノテーターよりも絵文字の意味的特性をよりよく一般化できるかどうかを評価すること。
• 深層学習を用いて文脈における絵文字の意味をモデル化する可能性を検討すること。

提案手法

• 双方向LSTM（BLSTM）モデルは、単語埋め込みと文字レベルの表現の両方を用いて、ツイートのシーケンスを符号化するように訓練される。
• モデルは、前方および後方LSTMの隠れ状態を組み合わせることで、文脈に配慮したツイート表現を計算する。
• 最終的な表現は、ReLU活性化層を経由して処理され、その後、ターゲットとなる絵文字のクラスの確率分布を計算するためのソフトマックス分布に変換される。
• モデルは、真の絵文字ラベルの負の対数尤度を最小化するように、交差エントロピー損失を用いて訓練される。
• 出力層は、学習された絵文字埋め込みとバイアス項を用いて、事前に定義されたセットからの最も確率の高い絵文字を予測する。
• モデルは、2015年10月から2016年5月にかけての米国ツイッター・ストリームで最も頻出する20種類の絵文字を含む、584,600件のツイートから成るデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 ニューラルシーケンスモデルは、人間のアノテーターよりも、ツイートが引き起こす最も可能性の高い絵文字をより高い精度で予測できるか？
• RQ2 単語レベルと文字レベルの表現は、絵文字予測性能にどのように寄与しているか？
• RQ3 人間における絵文字の解釈の曖昧さの度合いはどの程度で、モデルの予測と比べてどう異なるか？
• RQ4 人間とモデルの両方にとって、最も頻繁に混同される絵文字のペアは何か？また、その混同を説明する文脈的ヒントは何か？

主な発見

• 文字ベースのBLSTMモデルは、5つの最も頻出する絵文字についてF1スコア0.65を達成し、人間のアノテーター（F1スコア0.50）を上回った。
• モデルは、bag-of-wordsベースラインおよび意味的ベクトルベースラインの両方を、絵文字予測精度において上回った。
• 人間のアノテーター間で高い一貫性（73%）を示したが、依然として体系的な誤りを犯しており、特に「泣き顔」（�）を「笑顔」（�）と誤分類する傾向が見られた。
• モデルも「泣き顔」（�）と「笑顔」（�）を頻繁に混同しており、感嘆符や「haha」や「omg」などの語彙的キーワードといった類似した言語的ヒントが原因と考えられる。
• 「笑顔」（�）については、モデルの混同率が人間よりも低く、確率的および文脈的ヒントをよりよく捉えていることが示唆された。
• 「笑顔」（�）は、人間によって過剰に予測された（実際に100回出現したのに対し、208回予測された）が、これは人間が肯定的または皮肉的な表現に関連づける傾向があることを示しており、モデルではそのバイアスは観察されなかった。