[论文解读] Finding Dominant User Utterances And System Responses in Conversations

Dhiraj Madan, Sachindra Joshi|arXiv (Cornell University)|Oct 29, 2017

Speech and dialogue systems参考文献 20被引用 3

一句话总结

本文提出 SimCluster，一种新颖的 K-means 扩展方法，通过联合聚类用户和系统话语并利用邻接信息来提升意图和回复分组的质量。通过基于惩罚项的目标函数对齐聚类，该方法在真实和合成对话数据上将 F1 分数绝对提升了最高 10%，显著改善了聚类质量。

ABSTRACT

There are several dialog frameworks which allow manual specification of intents and rule based dialog flow. The rule based framework provides good control to dialog designers at the expense of being more time consuming and laborious. The job of a dialog designer can be reduced if we could identify pairs of user intents and corresponding responses automatically from prior conversations between users and agents. In this paper we propose an approach to find these frequent user utterances (which serve as examples for intents) and corresponding agent responses. We propose a novel SimCluster algorithm that extends standard K-means algorithm to simultaneously cluster user utterances and agent utterances by taking their adjacency information into account. The method also aligns these clusters to provide pairs of intents and response groups. We compare our results with those produced by using simple Kmeans clustering on a real dataset and observe upto 10% absolute improvement in F1-scores. Through our experiments on synthetic dataset, we show that our algorithm gains more advantage over K-means algorithm when the data has large variance.

研究动机与目标

• 通过从先前对话中自动识别频繁的用户意图和对应系统回复，减少对话系统设计中的手动工作量。
• 通过联合建模用户和代理话语之间的邻接关系，而非孤立处理，以提高用户和代理话语聚类的准确性。
• 开发一种方法，将用户意图聚类与系统回复聚类对齐，以支持对话流程的构建。
• 评估邻接感知聚类在真实世界对话数据和高方差合成数据上的有效性。

提出的方法

• 在目标函数中引入惩罚项，以基于邻接关系促进用户和代理话语聚类之间的对齐，扩展 K-means。
• 使用二分图匹配算法寻找初始用户和代理聚类之间的最优对齐，以最小化聚类间距离。
• 引入双聚类过程，通过共享对齐约束使一个领域中的相似性影响另一个领域的聚类。
• 同时使用 Doc2Vec 和序列到序列（Seq2Seq）模型生成话语向量表示，后者编码邻接上下文信息。
• 采用 D² 采样进行质心初始化，并在验证集上调整超参数 α，以平衡聚类与对齐之间的权衡。
• 先运行 K-means 5 次迭代，再运行 30 次 SimCluster 迭代以优化聚类分配。

实验结果

研究问题

• RQ1 通过利用邻接信息联合聚类用户和系统话语，是否能比孤立聚类更有效地识别用户意图和系统回复？
• RQ2 在真实对话数据上，SimCluster 相较于标准 K-means 在 F1 和 ARI 分数上的表现如何？
• RQ3 在高方差数据上，特别是用户话语领域，SimCluster 是否相对于 K-means 展现出更大的性能提升？
• RQ4 与 Doc2Vec 相比，通过 Seq2Seq 模型引入回复上下文在多大程度上增强了向量表示，从而提升聚类效果？

主要发现

• 在基于真实 Twitter 的对话数据上，SimCluster 相较于标准 K-means，F1 分数最高提升 10% 绝对值，使用 Doc2Vec 向量时，用户和代理领域分别提升了 0.093 和 0.087。
• 在基于 Seq2Seq 的向量表示上，SimCluster 将用户话语的 F1 分数从 0.83 提升至 0.86，将代理话语的 F1 分数从 0.90 提升至 0.916。
• 与 Seq2Seq 表示相比，该方法在 Doc2Vec 表示上表现出显著更大的性能提升，因为后者本身未编码邻接信息。
• 由于用户表达的变异性更高，而代理回复的模式更通用，因此在聚类中引入代理话语上下文对用户话语聚类的收益更大。
• 定性分析表明，SimCluster 正确地将语义相似的话语（如 'I can't open email' 和 'Email not opening'）分到同一聚类中，而 K-means 则将它们分隔开。
• 在高方差的合成数据上，SimCluster 相较于 K-means 的性能提升更为显著，证实了其在具有挑战性的聚类场景中的优势。