[论文解读] Diversifying Reply Suggestions using a Matching-Conditional Variational Autoencoder

Budhaditya Deb, Peter Bailey+1 more|arXiv (Cornell University)|Mar 25, 2019

Topic Modeling参考文献 19被引用 9

一句话总结

本文提出匹配条件变分自编码器（M-CVAE），一种潜在变量模型，通过将回复生成条件化于消息嵌入和随机潜在变量，在生产环境的即时通讯系统中实现回复建议的多样化。通过实现受限采样以实现高效推理，M-CVAE 在不牺牲相关性的情况下将回复多样性提升了30–40%，在Skype的在线A/B测试中点击率提高了5%。

ABSTRACT

We consider the problem of diversifying automated reply suggestions for a commercial instant-messaging (IM) system (Skype). Our conversation model is a standard matching based information retrieval architecture, which consists of two parallel encoders to project messages and replies into a common feature representation. During inference, we select replies from a fixed response set using nearest neighbors in the feature space. To diversify responses, we formulate the model as a generative latent variable model with Conditional Variational Auto-Encoder (M-CVAE). We propose a constrained-sampling approach to make the variational inference in M-CVAE efficient for our production system. In offline experiments, M-CVAE consistently increased diversity by ~30-40% without significant impact on relevance. This translated to a 5% gain in click-rate in our online production system.

研究动机与目标

• 为解决商业即时通讯系统中自动化回复建议缺乏语义多样性的问题，尽管其相关性很高。
• 在保持基于匹配的信息检索架构的效率和相关性的同时，引入回复多样性。
• 实现在生产环境中可扩展、低延迟的生成模型推理。
• 验证回复建议中语义多样性的提升是否能提高用户参与度，以点击率作为衡量指标。
• 证明潜在变量建模能够有效捕捉并从单个消息-回复对中生成多样化的对话意图。

提出的方法

• 将基于匹配的回复检索系统建模为条件变分自编码器（CVAE），引入一个随机潜在变量以建模隐藏的对话意图。
• 使用双向LSTM编码器将消息和回复嵌入到共享向量空间中，并采用对称损失进行联合优化。
• 应用变分推断训练M-CVAE模型，实现基于输入消息和采样潜在码的多样化回复向量生成。
• 引入受限采样策略，以限制推理过程中的潜在样本数量，确保低延迟，适合生产系统使用。
• 通过对多个采样回复进行投票来对候选回复进行排序，提升多样性，同时保持相关性。
• 预先计算并缓存回复向量，以实现快速查找，同时保持原始匹配信息检索框架的效率。

实验结果

研究问题

• RQ1 潜在变量模型能否有效集成到基于匹配的检索系统中，以提升回复多样性？
• RQ2 通过CVAE框架引入随机性是否能在不降低相关性的情况下提升回复建议的语义多样性？
• RQ3 受限采样能否使变分推断在高吞吐量系统中实现可扩展且高效的实时生产应用？
• RQ4 回复多样性提升是否能带来更高的用户参与度，以点击率作为衡量指标？
• RQ5 M-CVAE模型能否在不同对话领域（如即时通讯和电子邮件）中实现泛化？

主要发现

• 在离线评估中，M-CVAE将回复多样性提升了约30–40%，该结果通过内在多样性指标测量。
• 该模型保持了高相关性，检索性能或相关性指标未出现显著下降。
• 在Skype的在线A/B测试中，M-CVAE相比基线匹配模型实现了5%更高的点击率。
• 点击率的提升主要源于在第2和第3个回复位置上的性能改善，表明对多样化意图的覆盖更全面。
• 受限采样策略实现了低延迟推理，使该模型即使在生成式CVAE的背景下，也具备在生产环境中部署的可行性。
• 该模型已成功部署于100%的Skype用户，并在Outlook Web App中也表现出类似性能提升，表明其在不同对话领域间具有强大的泛化能力。