[論文レビュー] Predict Emoji Combination with Retrieval Strategy

Weitsung Lin, Ting-Hsuan Chao+2 more|arXiv (Cornell University)|Aug 21, 2019

Natural Language Processing Techniques参考文献 8被引用数 5

ひとこと要約

本論文では、テキスト的文脈から複数の絵文字の組み合わせを予測するリtrievalベースの戦略を提案する。絵文字の系列を言語における語句として扱う。微調整されたBERTモデルを用いて絵文字の確率を予測し、頻度と順序に基づいて事前に抽出された絵文字の組み合わせをランク付けすることで、F1スコアを0.141から0.204に向上させ、単純なおよびグリーディなベースラインを著しく上回った。

ABSTRACT

As emojis are widely used in social media, people not only use an emoji to express their emotions or mention things but also extend its usage to represent complicate emotions, concepts or activities by combining multiple emojis. In this work, we study how emoji combination, a consecutive emoji sequence, is used like a new language. We propose a novel algorithm called Retrieval Strategy to predict what emoji combination follows given a short text as context. Our algorithm treats emoji combinations as phrase in language, ranking sets of emoji combinations like retrieving words from dictionary. We show that our algorithm largely improves the F1 score from 0.141 to 0.204 on emoji combination prediction task.

研究の動機と目的

• ソーシャルメディアのテキストにおいて、単一の絵文字ではなく意味のある絵文字の組み合わせを予測する課題に対処すること。
• 絵文字の組み合わせを言語的語句としてモデル化し、個々の絵文字の使用を超えた意味的・構造的意味を捉えること。
• グリーディまたはトップ-k選択戦略への依存を減らすことで、複数の絵文字の系列に対する予測性能を向上させること。
• 頻度と順序に基づいて事前に抽出された絵文字の組み合わせをリtrievalベースの方法でランク付けし、関連性と多様性を向上させること。
• 学習可能なペナルティ機構を用いて、予測の精度と再現率のバランスを改善することで、F1スコアの向上を図ること。

提案手法

• 1000万件の米国発の英語ツイートに含まれる絵文字を用いて、マスクド言語モデルと文字レベルの埋め込みを用いて、BERTベースのモデルを微調整し、未知語や誤字の処理を可能にする。
• 一意モデルを用いて絵文字の組み合わせの条件付き確率を近似する：P(Y|W) ≈ ∏P(y_i|W)。これにより、1〜3個の絵文字の系列に対する計算を効率的に行える。
• 訓練データから事前に抽出された絵文字の組み合わせを、頻度と順序に基づいてランク付けるリtrieval戦略を適用し、各組み合わせを言語における語句として扱う。
• 各候補となる絵文字の組み合わせに対して重み付きスコアを計算する：S = log(頻度) - λ × (絵文字の数)。ここでλは、再現率と精度のバランスを取るためのペナルティハイパーパrameterである。
• リtrievalスコアにペナルティ項を導入し、過度に短いまたは長い組み合わせを避け、バランスの取れた予測を促進することで、F1スコアの向上を図る。
• 500クラスの絵文字分類タスクで交差エントロピー損失を用いてモデルを訓練し、計算効率を考慮して、より小型のアーキテクチャ（L=10, H=256, A=4）を採用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして絵文字の組み合わせを言語的語句としてモデル化し、単一の絵文字出力の範囲を超えて予測性能を向上させられるか？
• RQ2 確率ベースの選択と比較して、リtrievalベースのランク付けが、予測された絵文字の組み合わせの質に与える影響は何か？
• RQ3 再現率と精度のバランスを取るペナルティ機構は、複数の絵文字予測タスクにおけるF1スコアの向上に寄与するか？
• RQ4 Twitter特化の事前学習BERTモデルを用いることで、絵文字の組み合わせ予測のパフォーマンスにどのような影響があるか？
• RQ5 絵文字の系列における頻度と順序は、意味のある組み合わせの予測にどの程度寄与するか？

主な発見

• リtrieval戦略により、F1スコアがナイーブなトップ3（0.141）から0.204に向上し、ベースライン手法に比べて顕著な性能向上が達成された。
• ペナルティハイパーパrameterを0.3に設定したリtrieval戦略で、F1スコアの最高値23.6が達成され、精度と再現率の最適なバランスが実現された。
• リtrieval手法により、訓練コーパスからの実世界の使用パターンを活用することで、希少な絵文字も含むより意味のある絵文字の組み合わせが生成された。
• さまざまなしきい値を用いたグリーディなトップ3戦略では、F1スコアが18.1〜18.5にとどまり、意味の順序を正しくモデル化できないという限界が明らかになった。
• Twitter特化の事前学習と文字レベルの埋め込みを用いることで、ツイートにおける未知語や非公式な言語表現に対するモデルの耐性が向上した。
• リtrieval戦略は、すべての評価指標においてすべてのベースラインを上回り、複雑な絵文字の意味的構造を効果的に捉えられることを示した。