[論文レビュー] Understanding Chat Messages for Sticker Recommendation in Hike Messenger.

Abhishek Laddha, Mohamed Hanoosh+3 more|arXiv (Cornell University)|Feb 7, 2019

Digital Communication and Language被引用数 6

ひとこと要約

本稿では、Hikeメッセンジャー向けのリアルタイムステッカー推薦システムを提案する。このシステムは、濃密なメッセージ埋め込みと文字レベルの畳み込みニューラルネットワーク（CNN）を用いてユーザーの意図を予測し、表記のばらつきがあるメッセージを意味的に類似したグループにクラスタリングすることで、低スペックデバイスでも最小限の遅延で推薦精度を向上させる。

ABSTRACT

Stickers are popularly used in messaging apps such as Hike to visually express a nuanced range of thoughts and utterances to convey exaggerated emotions. However, discovering the right sticker from a large and ever expanding pool of stickers while chatting can be cumbersome. In this paper, we describe a system for recommending stickers in real time as the user is typing based on the context of conversation. We decompose the sticker recommendation problem into two steps. First, we predict the message that the user is likely to send in the chat. Second, we substitute the predicted message with an appropriate sticker. Majority of Hike's messages are in the form of text which is transliterated from users' native language to the Roman script. This leads to numerous orthographic variations of the same message and complicates message prediction. To address this issue, we learn dense representations of chat messages and use them to cluster the messages that have same meaning. In the subsequent steps we predict the message cluster instead of the message. Our model employs a character level convolution network to capture the similar intents in orthographic variants of chats. We validate our approach using manually labelled data on two tasks. We also propose a novel hybrid message prediction model, which can run with low latency on low end phones that have severe computational limitations.

研究の動機と目的

• Hikeメッセンジャーにおけるユーザーのメッセージの表記のばらつきに直面した状況でも、リアルタイムで関連するステッカーを推薦する課題に対処すること。
• チャットメッセージの濃密な表現を学習することで、リソースが限られた環境におけるメッセージ予測精度を向上させること。
• 正確なテキスト文字列の照合ではなく、メッセージの意図を予測することで、ユーザーが適切なステッカーを見つけるための作業負荷を軽減すること。
• 低スペックモバイルデバイスの制限された計算能力でも効率的に動作するハイブリッドメッセージ予測モデルを設計すること。
• 表記の違いや発音表記のばらつきがあっても、意味的に同等のメッセージをクラスタリングすることで、拡張性の高いステッカー推薦を実現すること。

提案手法

• システムは、文脈的な表現を濃密に学習する文字レベルの畳み込みニューラルネットワーク（CNN）を用い、表記のばらつきがあるメッセージ間の意味的類似性を捉える。
• 学習された濃密な埋め込みに基づいてメッセージをクラスタリングし、意味的に同等のメッセージをグループ化することで、ステッカーマッピングの検索空間を縮小する。
• 入力中のタイピング段階で最も可能性の高いメッセージクラスタを予測することで、正確なテキストの予測よりも高速かつ頑健な意図認識を実現する。
• 精度と推論速度のバランスを取ったハイブリッドメッセージ予測モデルを設計し、低スペックモバイルデバイスへのデプロイに最適化する。
• 予測されたメッセージクラスタを事前に定義された意味的に整合したステッカーのセットにマッピングすることで、ステッカーを推薦する。
• 翻訳のばらつきに強い埋め込みを活用することで、ローマ字表記に変換された非英語テキストの課題に対処する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのメッセージに広範な表記のばらつきが存在する状況下で、どのようにメッセージ予測を改善できるか？
• RQ2 学習された濃密なメッセージ埋め込みのクラスタリングは、ステッカー推薦の精度を向上させるとともに、計算負荷を低減できるか？
• RQ3 リソース制限のあるモバイルデバイス上で動作する低遅延・低複雑性のモデルの性能はどの程度か？
• RQ4 文字レベルのCNNは、多様なスペルの違いや発音表記のばらつきがあるメッセージ間で、意味的意図を効果的に捉えることができるか？
• RQ5 正確なメッセージの代わりにメッセージクラスタを予測することで、ステッカー推薦の関連性がどの程度向上するか？

主な発見

• 提案されたシステムは、ユーザーのメッセージに著しい表記のばらつきが存在する中でも、メッセージの意図を高い精度で予測することができる。
• 学習された濃密な埋め込みに基づくメッセージのクラスタリングにより、ステッカー推薦の複雑さを軽減しながらも、関連性を維持できる。
• ハイブリッドメッセージ予測モデルにより、リアルタイムの推論が低遅延で実現可能であり、低スペックモバイルデバイスへのデプロイに適している。
• 文字レベルのCNNは、同じメッセージの表記のばらつき（誤字・発音表記など）に対しても意味的類似性を効果的に捉えている。
• 正確なテキスト照合に依存するベースラインモデルと比較して、本システムはステッカー推薦のパフォーマンスが向上していることが示された。
• 手動評価により、予測されたメッセージクラスタがユーザーの意図や会話の文脈とよく一致していることが確認された。