[论文解读] Customized Nonlinear Bandits for Online Response Selection in Neural Conversation Models

Bing Liu, Tong Yu+2 more|arXiv (Cornell University)|Nov 22, 2017

Speech and dialogue systems被引用 17

一句话总结

本文提出了一种神经非线性上下文Bandit模型（NNBM），该模型利用双向LSTM编码的文本表征，并在多项式特征空间中采用定制化的Thompson采样方法，以实现在检索式对话系统中的在线响应选择。该方法在极少标注数据下显著优于线性上下文Bandit模型，实现了更低的累积遗憾值和更高的Recall@k。

ABSTRACT

Dialog response selection is an important step towards natural response generation in conversational agents. Existing work on neural conversational models mainly focuses on offline supervised learning using a large set of context-response pairs. In this paper, we focus on online learning of response selection in retrieval-based dialog systems. We propose a contextual multi-armed bandit model with a nonlinear reward function that uses distributed representation of text for online response selection. A bidirectional LSTM is used to produce the distributed representations of dialog context and responses, which serve as the input to a contextual bandit. In learning the bandit, we propose a customized Thompson sampling method that is applied to a polynomial feature space in approximating the reward. Experimental results on the Ubuntu Dialogue Corpus demonstrate significant performance gains of the proposed method over conventional linear contextual bandits. Moreover, we report encouraging response selection performance of the proposed neural bandit model using the Recall@k metric for a small set of online training samples.

研究动机与目标

• 解决在标注数据有限的情况下，检索式对话系统中在线学习的挑战。
• 通过在上下文Bandit中建模非线性奖励函数，提升响应选择性能。
• 将深度神经网络表征（通过双向LSTM实现）与上下文Bandit算法结合，以支持在线学习。
• 通过实时交互中的用户反馈，实现高效且个性化的响应选择。
• 证明将神经网络与上下文Bandit结合在在线对话学习中的可行性和有效性。

提出的方法

• 使用双向LSTM生成对话上下文和响应候选的分布式表征。
• 模型在多项式特征空间中近似非线性奖励函数，以捕捉上下文与响应之间的复杂交互。
• 设计了一种定制化的Thompson采样算法，用于在非线性特征空间中实现探索与利用的权衡。
• 使用二元用户反馈（正/负）作为奖励，实时更新Bandit模型。
• 通过基于用户反馈的增量更新，使用随机梯度下降在线训练模型。
• 该方法支持多响应选择（k > 1），并能动态调整对响应排序置信度。

实验结果

研究问题

• RQ1 具有神经文本表征的非线性上下文Bandit模型是否能在在线响应选择中优于线性Bandit模型？
• RQ2 所提出的定制化Thompson采样方法在对话系统中从稀疏二元反馈中学习的有效性如何？
• RQ3 与TF-IDF相比，双向LSTM生成的分布式表征在多大程度上提升了在线学习性能？
• RQ4 候选响应数量（k）如何影响在线响应选择中的学习效率和性能？
• RQ5 该模型是否仅用少量在线训练样本即可实现高Recall@k？

主要发现

• 在1000轮后，RNN-NonLinear-TS模型的平均累积遗憾值为0.61，表明每轮有39%的概率选择正确响应。
• RNN-NonLinear-TS在累积遗憾值上大幅优于RNN-Linear-TS，证明了非线性奖励建模的优势。
• 该模型仅用800个在线训练样本即实现了高Recall@k，表明在数据稀缺条件下仍具强大性能。
• 在所有k值（k=1, 2, 5）下，RNN-NonLinear-TS均持续优于RNN-Linear-TS，且在k=2时性能差距进一步扩大。
• 与TF-IDF相比，使用双向LSTM表征显著提升了性能，即使计算量极小。
• 随着交互轮次增加，模型对正确响应的置信度不断提高，且前两名预测之间的差距扩大，表明学习效果持续改善。