[論文レビュー] emoji2vec: Learning Emoji Representations from their Description

Ben Eisner, Tim Rocktäschel+3 more|arXiv (Cornell University)|Sep 27, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用数 90

ひとこと要約

この論文では、Unicode標準の記述テキストを用いて学習することで、1,661種類のUnicode絵文字の密なベクトル表現を学習するemoji2vecを提案する。事前学習済みのword2vecベクトルを用いた単語のbag-of-words平均という単純な手法を用いるが、1億件のツイートで学習されたskip-gramモデルに比べ、はるかに少ないデータと文脈依存学習を用いずに、ツイッターの感情分析において優れた性能を達成する。

ABSTRACT

Many current natural language processing applications for social media rely on representation learning and utilize pre-trained word embeddings. There currently exist several publicly-available, pre-trained sets of word embeddings, but they contain few or no emoji representations even as emoji usage in social media has increased. In this paper we release emoji2vec, pre-trained embeddings for all Unicode emoji which are learned from their description in the Unicode emoji standard. The resulting emoji embeddings can be readily used in downstream social natural language processing applications alongside word2vec. We demonstrate, for the downstream task of sentiment analysis, that emoji embeddings learned from short descriptions outperforms a skip-gram model trained on a large collection of tweets, while avoiding the need for contexts in which emoji need to appear frequently in order to estimate a representation.

研究の動機と目的

• word2vec や GloVe などの既存の単語埋め込みリソースに、事前学習済みの絵文字表現が不足している問題に対処すること。
• 大規模なソーシャルメディアコーパスに依存せずに、すべてのUnicode絵文字（頻度が低いものも含む）に対して堅牢で汎用的な絵文字埋め込みを構築すること。
• 文脈的な使用法ではなく、単語の説明文からのみ学習された絵文字表現が、ソーシャルメディアで学習されたものと同等またはそれを上回る性能を示すかどうかを評価すること。
• 可視化や類推タスクを通じて、絵文字埋め込みが捉える意味的構造を調査すること。

提案手法

• 本手法は、Unicode絵文字の説明文（例：U+1F602 に対して「笑顔で涙を流す顔」）に含まれる単語の事前学習済み300次元word2vecベクトルの平均値を用いて、絵文字埋め込みを学習する。
• 各絵文字は、Google News word2vec埋め込みと同一の300次元空間にマップされ、既存のNLPパイプラインとの直接的な互換性を確保する。
• 学習データは、Unicode絵文字標準から収集した1,661種類の固有の絵文字記号のための6,088件の説明文から構成される。
• モデルは単純なbag-of-wordsアプローチを用い、語順や文法的構造を考慮せずに、説明フレーズに含まれる単語ベクトルを合算する。
• 得られたemoji2vec埋め込みは、gensimや他のword2vec互換ライブラリと互換性のある形式で公開される。
• 今後の改善策として、Emojipediaからの完全な絵文字説明文の統合と、より優れた記述テキスト符号化のための再帰的ニューラルネットワーク（RNN）の利用を計画している。

実験結果

リサーチクエスチョン

• RQ1 大規模なソーシャルメディアの文脈を必要とせず、短い説明文からのみ効果的に絵文字表現を学習できるか？
• RQ2 Unicodeの説明文から学習された絵文字埋め込みが、巨視的なツイートコーパスから学習されたものと同等の意味的関係を捉えられるか？
• RQ3 最小限のデータで学習されたemoji2vecが、感情分析などの下流NLPタスクの性能を向上させられるか？
• RQ4 学習された絵文字埋め込みが、既知の意味的クラスタ（例：顔、国旗、動物）をどれほど正確に反映しているか？
• RQ5 ベクトル空間における線形類推（例：「男」→「女」の関係が「笑顔」の文脈で回復できるか）は、どれほど正確に再現できるか？

主な発見

• emoji2vecは、1億件のツイートで学習されたskip-gramモデルに比べ、ツイッターの感情分析タスクで優れた性能を示した。これは、説明ベースの学習がはるかに少ないデータで優れた結果をもたらす可能性を示している。
• t-SNEによる絵文字埋め込みの可視化から、家族、国旗、動物、笑顔の顔といった意味的クラスタが明確に可視化され、モデルが直感的な意味的グループ化を捉えていることが示された。
• 単純な構造にもかかわらず、emoji2vecモデルはベクトル空間における線形類推を効果的に学習しており、正解がしばしば最近隣接する3つの内に現れるが、必ずしも1位とは限らない。
• 本モデルは、頻度が低く希少な記号を含む、1,661種類すべてのUnicode絵文字に対して堅牢な表現を提供しており、文脈ベースのモデルがしばしば不十分に表現するものもカバーしている。
• 既存のNLPツールと互換性があり、下流のアプリケーションでword2vec埋め込みと直接併用可能である。
• 本アプローチはスケーラブルかつ拡張可能であり、今後はEmojipediaからのより豊富な説明文と、RNNによるより洗練されたシーケンス符号化を用いた改善が計画されている。