[論文レビュー] Time to Take Emoji Seriously: They Vastly Improve Casual Conversational Models

Pieter Delobelle, Bettina Berendt|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、拡張トークン化を用いて標準的なUnicode絵文字とカスタム絵文字の両方のサポートを統合することで、BERTベースの会話モデルの性能向上を提案する。高絵文字含有のQAデータセット上でBERTを微調整した結果、1対100の応答選択精度が12.7%から17.8%に向上し、会話における文脈理解が顕著に向上することが示された。

ABSTRACT

Graphical emoji are ubiquitous in modern-day online conversations. So is a single thumbs-up emoji able to signify an agreement, without any words. We argue that the current state-of-the-art systems are ill-equipped to correctly interpret these emoji, especially in a conversational context. However, in a casual context, the benefits might be high: a better understanding of users' utterances and more natural, emoji-rich responses. With this in mind, we modify BERT to fully support emoji, both from the Unicode Standard and custom emoji. This modified BERT is then trained on a corpus of question-answer (QA) tuples with a high number of emoji, where we're able to increase the 1-of-100 accuracy from 12.7% for the current state-of-the-art to 17.8% for our model with emoji support.

研究の動機と目的

• 最新の会話モデルにおける絵文字対応の欠如が、カジュアルな会話におけるユーザー意図の正確な解釈を妨げることに対処すること。
• 絵文字を最初等のトークンとして統合することで、応答選択タスクにおける性能向上が図られるかを調査すること。
• 標準的なUnicode絵文字とアプリケーション固有のカスタム絵文字の両方をサポートする、トークン化および学習フレームワークを構築すること。
• 高絵文字含有データセットを用いて、絵文字に配慮したモデリングが下流の会話型AIのパフォーマンスに与える影響を評価すること。
• 適切に符号化された場合、絵文字が意味的・文脈的な信号を提供し、モデル性能を向上させることを実証すること。

提案手法

• すべての標準的なUnicode絵文字とカスタム絵文字を別個のトークンとして追加するようにBERTトークナイザーを拡張し、サブワードトークン化を回避すること。
• 600件の発話-応答ペairで構成される、絵文字含有率が高いデータセット上でBERTを微調整し、発話の8.75%が絵文字を含む。
• マスク言語モデル学習の目的関数を用いて、絵文字を語彙内での有効なトークンとして扱う形で、エンドツーエンドでモデルを訓練すること。
• 1対100の精度と、1入力あたり100件の候補応答に対する平均ランクを用いて性能を評価し、ネガティブな候補はランダムにサンプリングする。
• 変換器アーキテクチャに加えて語彙拡張以外の変更なしに、マルチリンガルBERT baseモデルをベースアーキテクチャとして使用すること。
• 絵文字がシーケンスに含まれたり修飾子が付いていても、一貫したトークン化スキームにより、絵文字を単一のトークンとして保持すること。

実験結果

リサーチクエスチョン

• RQ1 BERTに離散的なトークンとして絵文字を統合することで、カジュアルな会話における応答選択タスクの性能が向上するか？
• RQ2 低リソースで非公式な会話的文脈において、絵文字は意図の曖昧除去にどの程度寄与するか？
• RQ3 入力に絵文字が含まれる場合と含まれない場合とで、絵文字対応がモデル性能に与える影響は何か？
• RQ4 統一されたトークン化スキームは、標準的なUnicode絵文字とアプリケーション固有のカスタム絵文字の両方を処理できるか？
• RQ5 応答選択精度の向上は、絵文字の意味的解釈に適したアライメントのおかげなのか、それともモデル容量の増加によるものなのか？

主な発見

• 絵文字を追加したBERTモデルは、1対100の精度が17.8%に達し、ベースラインモデルの12.7%から5.1ポイント向上した。
• 正解応答の平均ランクは33から31にわずかに低下し、絵文字が存在する際、モデルが正解応答をより自信を持って選択していることが示された。
• 性能向上の主な要因は、入力に絵文字が含まれるケースに起因しており、その場合に絵文字が意味的文脈信号として機能していることが示唆された。
• 絵文字が存在しない場合、モデルの性能はほとんど変化しなかったため、絵文字非対応の入力でも性能が劣化しないことが示された。
• モデルは標準的なUnicode絵文字とカスタム絵文字の両方を正常に処理できており、トークン化スキームがUnicodeの説明や外部のアノテーションに依存していないことが確認された。
• 結果から、絵文字は装飾的要素ではなく、適切に符号化された場合に意味的・会話的情報を提供し、応答選択の性能向上に寄与することが示された。