[论文解读] Dually Interactive Matching Network for Personalized Response Selection in Retrieval-Based Chatbots

Jia-Chen Gu, Zhen-Hua Ling+2 more|arXiv (Cornell University)|Aug 16, 2019

Topic Modeling参考文献 16被引用 9

一句话总结

本文提出了一种名为双交互匹配网络（DIM）的新模型，用于检索式聊天机器人中的个性化回复选择。该模型通过在上下文-回复对与个性-回复对之间进行双重匹配，提升了回复的相关性。通过利用细粒度的交互匹配，DIM在PERSONA-CHAT数据集上实现了78.8%的hits@1准确率，创下新的最先进水平，相比之前的方法提升了27.7个百分点。

ABSTRACT

This paper proposes a dually interactive matching network (DIM) for presenting the personalities of dialogue agents in retrieval-based chatbots. This model develops from the interactive matching network (IMN) which models the matching degree between a context composed of multiple utterances and a response candidate. Compared with previous persona fusion approaches which enhance the representation of a context by calculating its similarity with a given persona, the DIM model adopts a dual matching architecture, which performs interactive matching between responses and contexts and between responses and personas respectively for ranking response candidates. Experimental results on PERSONA-CHAT dataset show that the DIM model outperforms its baseline model, i.e., IMN with persona fusion, by a margin of 14.5% and outperforms the current state-of-the-art model by a margin of 27.7% in terms of top-1 accuracy hits@1.

研究动机与目标

• 为解决现有个性融合方法将上下文视为整体处理、忽略个性与回复之间直接交互的问题。
• 通过建模对话上下文、个性信息与回复候选之间的细粒度交互匹配，提升检索式聊天机器人中的回复选择准确率。
• 开发一种双重匹配框架，同时捕捉上下文-回复与个性-回复的交互关系，实现更精确的个性化回复排序。

提出的方法

• DIM模型采用双重匹配架构，平行计算上下文与回复之间的交互匹配特征，以及个性与回复之间的交互匹配特征。
• 利用注意力机制计算回复对上下文和回复对个性的注意力权重，实现相关话语与个人资料语句的细粒度对齐。
• 通过门控融合机制整合上下文-回复与个性-回复的匹配特征，生成最终的匹配分数以用于回复排序。
• 该框架基于交互匹配网络（IMN）构建，并通过引入话语级别的上下文-个性交互以及双重匹配设计，对其进行了扩展。
• 该方法为上下文和回复共享表示，同时为上下文-回复与个性-回复匹配分别设置独立的注意力模块。
• 最终的回复得分由双重视觉匹配特征的拼接后，经分类器头进行候选排序得到。

实验结果

研究问题

• RQ1 建模上下文与个性之间细粒度的、话语级别的交互，是否能提升个性化聊天机器人中的回复选择性能？
• RQ2 是否双重匹配机制（同时匹配上下文-回复与个性-回复）相比单路径匹配能带来更好的回复选择效果？
• RQ3 当个性被改写或泛化时，所提出的DIM模型在分布偏移下的表现如何？
• RQ4 当模型在一种个性类型（如原始类型）上训练，而在另一种类型（如修改后类型）上测试时，其泛化能力如何？
• RQ5 双重匹配机制中的各个组件（上下文-回复 vs. 个性-回复）对整体性能的贡献程度如何？

主要发现

• DIM模型在PERSONA-CHAT数据集上实现了78.8%的hits@1准确率，相比基于IMN的上下文级个性融合基线模型提升了14.5个百分点。
• DIM在hits@1准确率上比当前最先进模型高出27.7个百分点，确立了该基准上的新SOTA水平。
• 消融实验表明，上下文-回复与个性-回复匹配组件均不可或缺，其中前者对性能提升的贡献更为显著。
• 在使用修改后的个性（改写或泛化）进行测试时，DIM仍保持强劲表现，hits@1达到66.3%，MRR达到70.7%，显示出良好的泛化能力。
• 在修改后个性上进行训练的模型，其泛化能力优于在原始个性上训练的模型，表明改写后的个性有助于提升模型鲁棒性。
• 注意力权重的可视化结果表明，模型能有效对齐关键语义单元（例如：回复中的'dogs'与上下文中的'animals'，以及个性中的'I love animals'），验证了双重匹配机制的有效性。