[论文解读] Conversational Information Seeking

Hamed Zamani, Johanne R. Trippas+2 more|arXiv (Cornell University)|Jan 21, 2022

AI in Service Interactions被引用 6

一句话总结

本专著全面概述了对话式信息检索（CIS），涵盖其理论基础、在对话式搜索、问答系统和推荐系统中的应用，以及自然语言对话与信息检索的融合。该研究综合了数十年来人机交互式信息检索与对话系统的研究成果，梳理了当前面临的挑战，并指出了未来构建稳健、以用户为中心的CIS系统的关键研究方向，这些系统以自然语言交互为基础。

ABSTRACT

Conversational information seeking (CIS) is concerned with a sequence of interactions between one or more users and an information system. Interactions in CIS are primarily based on natural language dialogue, while they may include other types of interactions, such as click, touch, and body gestures. This monograph provides a thorough overview of CIS definitions, applications, interactions, interfaces, design, implementation, and evaluation. This monograph views CIS applications as including conversational search, conversational question answering, and conversational recommendation. Our aim is to provide an overview of past research related to CIS, introduce the current state-of-the-art in CIS, highlight the challenges still being faced in the community. and suggest future directions.

研究动机与目标

• 为对话式信息检索（CIS）作为整合信息检索与对话系统的一个独立研究领域，提供全面的综述。
• 梳理CIS当前的最先进技术，包括对话式搜索、问答系统和推荐等关键应用。
• 识别CIS中的开放性挑战与研究空白，尤其关注自然语言理解、长期用户建模和系统评估方面。
• 为CIS领域的新老研究人员提供基础性参考，弥合信息检索与对话系统领域既有研究之间的鸿沟。
• 通过提出有前景的研究方向，为未来研究提供指引，包括改进的评估指标和端到端神经架构。

提出的方法

• 本文综合了数十年来在交互式信息检索（IIR）、探索性搜索和对话系统方面的研究，为CIS奠定了概念基础。
• 将CIS定义为涉及多轮自然语言交互的系统，其特点包括保持记忆、支持混合主导权（mixed initiative）以及揭示用户意图。
• 作者分析了CIS系统的核心组件，包括用户与系统的交互回合、对话管理以及长期用户建模。
• 该专著评估了现有的评估方法，包括自动指标（BLEU、ROUGE、BERTScore）和人工评估，指出了其局限性。
• 基于主要研讨会（如SWIRL、Dagstuhl、SCAI）的基准数据集与评测集，系统梳理了神经模型与基于检索方法的关键技术进展。
• 结合ELIZA、PARRY、SHRDLU和HMIHY等基础系统的研究洞见，为现代CIS的发展提供历史背景与上下文。

实验结果

研究问题

• RQ1 什么特征使对话式信息检索区别于传统信息检索或任务导向型对话？
• RQ2 CIS系统如何在自然语言多轮交互中有效维持上下文与记忆？
• RQ3 CIS系统评估面临的主要挑战是什么？自动指标与人工评估相比有何优劣？
• RQ4 构建稳健的对话式搜索与推荐系统，最具前景的技术与架构方法是什么？
• RQ5 哪些未来研究方向对推动CIS技术前沿发展最为关键？

主要发现

• 得益于自然语言理解与大规模语言模型的发展，CIS已取得显著进步，实现了更稳健、更自然的交互。
• 尽管取得进展，BLEU和ROUGE等自动评估指标在捕捉CIS输出的语义质量与相关性方面仍存在明显不足。
• 人工评估与隐式用户反馈仍是评估CIS系统性能最可靠的方法。
• ELIZA、PARRY与SHRDLU等基础系统为现代对话与信息检索系统奠定了关键基础。
• 长期用户建模与混合主导权交互的整合，仍是实现可扩展、个性化CIS系统的关键挑战。
• 近期的研讨会与基准测试工作（如SWIRL、Dagstuhl、SCAI）已帮助明确核心挑战，并加速了CIS领域的研究进展。