[论文解读] A Clarifying Question Selection System from NTES_ALONG in Convai3 Challenge

Wenjie Ou, Yue Lin|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 6被引用 6

一句话总结

本论文提出了一套在对话式信息检索中表现最优异的澄清问题选择系统，结合微调后的ELECTRA模型用于响应理解、增强版BM25用于候选召回，以及基于ELECTRA的模型集成用于排序。该系统在ConvAI3挑战赛中获得第一名，其在问题相关性任务中的召回率@[20,30]达到最优，并在多轮文档相关性评估中取得最高分。

ABSTRACT

This paper presents the participation of NetEase Game AI Lab team for the ClariQ challenge at Search-oriented Conversational AI (SCAI) EMNLP workshop in 2020. The challenge asks for a complete conversational information retrieval system that can understanding and generating clarification questions. We propose a clarifying question selection system which consists of response understanding, candidate question recalling and clarifying question ranking. We fine-tune a RoBERTa model to understand user's responses and use an enhanced BM25 model to recall the candidate questions. In clarifying question ranking stage, we reconstruct the training dataset and propose two models based on ELECTRA. Finally we ensemble the models by summing up their output probabilities and choose the question with the highest probability as the clarification question. Experiments show that our ensemble ranking model outperforms in the document relevance task and achieves the best recall@[20,30] metrics in question relevance task. And in multi-turn conversation evaluation in stage2, our system achieve the top score of all document relevance metrics.

研究动机与目标

• 开发一个针对对话式信息检索中模糊用户查询的鲁棒澄清问题选择系统。
• 解决在何时以及如何提问以提升检索准确性的挑战。
• 通过端到端建模用户意图与问题排序，提升所选澄清问题的相关性。
• 在ClariQ基准上实现卓越性能，尤其在问题相关性和多轮对话评估方面。

提出的方法

• 微调一个大型ELECTRA模型用于用户响应理解，基于P@5得分判断响应是否需要澄清。
• 通过索引不仅包括问题，还包括其关联的初始请求、答案和主题描述，来增强BM25检索模型。
• 使用随机采样和基于BM25的负采样相结合的方式构建训练负样本，以提升排序的泛化能力。
• 训练两种不同的基于ELECTRA的模型：标准序列分类器和多任务学习模型，以提升表征学习效果。
• 通过将两个排序模型的输出概率相加，并选择概率最高的问题作为最终的澄清问题，实现模型集成。
• 采用流水线架构：响应理解 → 候选问题召回 → 澄清问题排序，各阶段独立优化。

实验结果

研究问题

• RQ1 在对话式信息检索场景中，系统如何有效判断用户响应是否需要澄清？
• RQ2 基于用户输入，从大规模问题库中召回候选澄清问题的最优方式是什么？
• RQ3 与单一模型相比，使用多个基于ELECTRA的模型进行集成学习能否提升所选澄清问题的相关性？
• RQ4 在多轮对话场景中，系统的表现如何，特别是在文档检索有效性方面？

主要发现

• 集成排序模型在问题相关性任务中实现了最佳的召回率@[20,30]，优于所有其他参赛模型。
• 在文档相关性任务中，集成模型在开发集和测试集中均表现出色，排名靠前。
• 在多轮对话评估（第二阶段）中，系统在所有文档相关性指标中均取得最高分，包括MRR、P@1、nDCG@3和nDCG@5。
• 系统展现出强大的泛化能力，能持续选择出清晰且符合上下文的澄清问题，例如询问用户意图或根据先前回答优化查询。
• 采用扩展索引的增强版BM25模型提升了候选召回的质量，尤其对简短、通用的问题效果显著。
• 多任务ELECTRA模型在问题相关性任务中实现了最佳的召回率@[5,10]，表明其在早期排名相关性方面表现优异。