[论文解读] Understanding Chat Messages for Sticker Recommendation in Hike Messenger.

Abhishek Laddha, Mohamed Hanoosh+3 more|arXiv (Cornell University)|Feb 7, 2019

Digital Communication and Language被引用 6

一句话总结

本文提出了一种针对 Hike Messenger 的实时贴纸推荐系统，通过密集消息嵌入和字符级卷积神经网络（CNN）预测用户意图，将语义相似但拼写形式不同的消息聚类，从而在计算资源有限的低端设备上实现极低延迟的推荐，显著提升推荐准确率。

ABSTRACT

Stickers are popularly used in messaging apps such as Hike to visually express a nuanced range of thoughts and utterances to convey exaggerated emotions. However, discovering the right sticker from a large and ever expanding pool of stickers while chatting can be cumbersome. In this paper, we describe a system for recommending stickers in real time as the user is typing based on the context of conversation. We decompose the sticker recommendation problem into two steps. First, we predict the message that the user is likely to send in the chat. Second, we substitute the predicted message with an appropriate sticker. Majority of Hike's messages are in the form of text which is transliterated from users' native language to the Roman script. This leads to numerous orthographic variations of the same message and complicates message prediction. To address this issue, we learn dense representations of chat messages and use them to cluster the messages that have same meaning. In the subsequent steps we predict the message cluster instead of the message. Our model employs a character level convolution network to capture the similar intents in orthographic variants of chats. We validate our approach using manually labelled data on two tasks. We also propose a novel hybrid message prediction model, which can run with low latency on low end phones that have severe computational limitations.

研究动机与目标

• 解决在 Hike Messenger 用户消息中存在大量拼写变体时，实时推荐相关贴纸的挑战。
• 通过学习聊天消息的密集表示，在资源受限环境中提升消息预测的准确性。
• 通过预测消息意图而非精确文本字符串，减少用户寻找合适贴纸的操作负担。
• 设计一种高效的混合消息预测模型，使其在计算能力有限的低端移动设备上高效运行。
• 通过聚类语义等价消息，实现可扩展的贴纸推荐，即使存在拼写和音译差异也能有效处理。

提出的方法

• 系统使用字符级卷积神经网络（CNN）学习聊天消息的密集上下文表示，捕捉不同拼写变体之间的语义相似性。
• 基于学习到的密集嵌入对消息进行聚类，将语义等价的消息归为一类，从而缩小贴纸映射的搜索空间。
• 在用户输入过程中预测最可能的消息聚类，相比直接预测精确文本，能实现更快、更鲁棒的意图识别。
• 设计了一种混合消息预测模型，以在准确率和推理速度之间取得平衡，优化后可部署于低端移动设备。
• 通过将预测到的消息聚类映射到预定义的语义对齐贴纸集合，实现贴纸推荐。
• 该方法利用对音译敏感的嵌入表示，有效应对非英文文本转写为罗马字母时带来的挑战。

实验结果

研究问题

• RQ1 在用户消息存在大量拼写变体的情况下，如何提升消息预测的性能？
• RQ2 基于密集消息嵌入的聚类能否提升贴纸推荐的准确率并降低计算负载？
• RQ3 在资源受限的移动设备上，低延迟、低复杂度的消息预测模型性能如何？
• RQ4 字符级 CNN 在捕捉不同拼写和音译变体之间的语义意图方面效果如何？
• RQ5 与直接预测精确消息相比，预测消息聚类在多大程度上能提升贴纸推荐的相关性？

主要发现

• 所提出的系统在用户消息存在显著拼写变体的情况下，仍能实现高准确率的意图预测。
• 基于学习到的密集嵌入对消息进行聚类，可在保持推荐相关性的同时降低贴纸推荐的复杂度。
• 混合消息预测模型实现了低延迟的实时推理，适用于低端移动设备的部署。
• 字符级 CNN 能有效捕捉同一消息在不同拼写和音译变体之间的语义相似性。
• 与依赖精确文本匹配的基线模型相比，该系统在贴纸推荐性能上表现更优。
• 人工评估确认，预测的消息聚类与用户意图和对话上下文高度一致。