[论文解读] Conversations with Documents. An Exploration of Document-Centered Assistance

Maartje ter Hoeve, Robert B. Sim+4 more|UvA-DARE (University of Amsterdam)|Jan 27, 2020

Topic Modeling参考文献 43被引用 27

一句话总结

本文研究了以文档为中心的辅助功能，即通过自然语言查询，对话式人工智能帮助用户理解并审查与工作相关的文档。本文引入了一个新的以文档为中心的问题数据集，证明了最先进的问答模型可以通过微调在这一新型任务上实现合理性能，并识别出以文档为中心的问答与传统事实型问答查询之间的关键差异。

ABSTRACT

The role of conversational assistants has become more prevalent in helping people increase their productivity. Document-centered assistance, for example to help an individual quickly review a document, has seen less significant progress, even though it has the potential to tremendously increase a user's productivity. This type of document-centered assistance is the focus of this paper. Our contributions are three-fold: (1) We first present a survey to understand the space of document-centered assistance and the capabilities people expect in this scenario. (2) We investigate the types of queries that users will pose while seeking assistance with documents, and show that document-centered questions form the majority of these queries. (3) We present a set of initial machine learned models that show that (a) we can accurately detect document-centered questions, and (b) we can build reasonably accurate models for answering such questions. These positive results are encouraging, and suggest that even greater results may be attained with continued study of this interesting and novel problem space. Our findings have implications for the design of intelligent systems to support task completion via natural interactions with documents.

研究动机与目标

• 理解用户在文档阅读场景中对对话式助手功能的期望。
• 识别用户在共同撰写或审阅文档时可能提出的问题类型。
• 评估基线机器学习模型在新发布的以文档为中心的问题与答案数据集上的表现。
• 探索将现有问答系统适配用于以文档为中心的辅助功能的可行性。

提出的方法

• 通过112名参与者的调查，识别用户在以文档为中心的场景中期望的助手功能及常见问题类型。
• 收集并标注了1,000份与工作相关的文档，包含1,000个问题及对应文档中的答案片段。
• 设计并应用了六种基线模型进行答案选择，包括在SQuAD2.0上微调BERT、仅使用DQA的模型，以及在两个数据集上联合微调的混合方法。
• 应用查询重写技术，以提高以文档为中心的问题与标准问答模型之间的对齐度。
• 使用F1和精确匹配（EM）指标，在保留的测试集上评估模型性能。
• 以BERT Large作为基础模型，并通过领域特定数据进行迁移学习，以评估其在新任务上的表现。

实验结果

研究问题

• RQ1 用户在文档阅读场景中希望从对话式助手处获得哪些类型的辅助？
• RQ2 当与具备文档感知能力的助手对话时，用户可能使用哪些问题来获取此类辅助？
• RQ3 初始基线模型在以文档为中心的问答场景中的表现如何？
• RQ4 当将通用领域问答数据（SQuAD2.0）与文档特定数据（DQA）结合时，性能如何变化？

主要发现

• DQA数据集包含大量以文档为中心的问题，其与标准问答基准中典型的事实型问题存在显著差异。
• 在SQuAD2.0和DQA数据集上同时进行微调的BERT模型表现最佳，在DQA保留测试集上达到F1分数41.02和EM分数20.30。
• 在DQA任务上的表现显著低于标准问答基准，表明以文档为中心的问答是一个独特且具有挑战性的领域。
• 查询重写未能提升性能，表明当前的重写策略可能过于简单，难以适用于该领域。
• 仅在DQA数据上微调的模型表现优于仅在SQuAD2.0上训练的模型，凸显了领域特定数据的重要性。
• 结果表明，尽管基线模型表现合理，但通过更大、更多样化的数据集以及更优的适配技术，仍有巨大改进空间。