[论文解读] A Conceptual Framework for Implicit Evaluation of Conversational Search Interfaces

Abhishek Kaushik, Gareth J. F. Jones|arXiv (Cornell University)|Apr 8, 2021

Speech and dialogue systems参考文献 37被引用 4

一句话总结

本文提出了一种用于隐式评估对话式搜索（CS）界面的多维概念框架，整合了互动信息检索与对话系统中的维度，如可用性、认知负荷、知识获取和用户体验。该框架采用搜索前后问卷调查，结合李克特量表评分与统计分析，评估系统性能与用户学习效果，从而实现对对话式搜索有效性的量化与定性评估，超越简单的任务完成度。

ABSTRACT

Conversational search (CS) has recently become a significant focus of the information retrieval (IR) research community. Multiple studies have been conducted which explore the concept of conversational search. Understanding and advancing research in CS requires careful and detailed evaluation. Existing CS studies have been limited to evaluation based on simple user feedback on task completion. We propose a CS evaluation framework which includes multiple dimensions: search experience, knowledge gain, software usability, cognitive load and user experience, based on studies of conversational systems and IR. We introduce these evaluation criteria and propose their use in a framework for the evaluation of CS systems.

研究动机与目标

• 解决现有对话式搜索（CS）评估仅依赖任务完成度与用户反馈的局限性。
• 开发一个全面的评估框架，以捕捉对话式搜索中用户交互与学习的深层特征。
• 将互动信息检索与对话系统中的维度整合到统一的对话式搜索评估模型中。
• 实现在对话式搜索交互过程中对用户体验、认知负荷与知识获取的隐式评估。
• 为现实场景中对话式搜索系统的评估与改进提供一种实用且基于实证的工具。

提出的方法

• 该框架采用两部分问卷：一部分用于搜索后评估（探索性），另一部分用于搜索前与搜索后知识评估（满意度）。
• 每个问卷项目使用7点李克特量表（0–7），通过配对或独立样本t检验分析均值分数的统计显著性。
• 定性分析根据阈值对均值分数进行颜色编码标注（红色、黄色、绿色）：<2（红色），2–4（黄色），>4（绿色），以表示负面、中性或正面评价。
• 两名独立分析员对响应进行标注，kappa系数约为0.85，以确保可靠性。
• 知识获取通过比较搜索前与搜索后的摘要进行测量，使用三个参数：Dqual（质量）、Dintrp（理解）、Dcrit（批判性思维），知识增长定义为Dqual > 1.5，Dintrp > 1，且Dcrit > 0。
• 通过统计检验与评分者间一致性检查对框架进行验证，以识别特定维度（如可用性或认知负荷）中的界面薄弱环节。

实验结果

研究问题

• RQ1 如何在超越简单任务完成度与用户反馈的基础上评估对话式搜索系统？
• RQ2 哪些多维因素影响对话式搜索界面的有效性与用户体验？
• RQ3 对话式搜索在多大程度上促进用户知识获取与认知发展？
• RQ4 如何系统性地收集与分析隐式评估指标以评估CS性能？
• RQ5 在对话式搜索交互中，如何对可用性、认知负荷与用户体验进行定量与定性评估？

主要发现

• 所提出的框架通过整合可用性、认知负荷与知识获取，超越传统性能指标，实现了对对话式搜索系统更全面的评估。
• 通过配对与独立样本t检验的统计分析，能够有效比较传统与对话式搜索系统。
• 基于李克特量表均值分数的颜色编码标注（红、黄、绿）为系统在特定维度上的优劣势提供了清晰的视觉指示。
• 评分者间一致性经确认，kappa系数约为0.85，表明用户响应的定性标注具有一致性。
• 知识获取通过三参数模型（Dqual、Dintrp、Dcrit）进行量化评估，并采用阈值定义显著学习（Dqual > 1.5，Dintrp > 1，Dcrit > 0）。
• 该框架成功识别出需要改进的具体界面组件，如软件可用性或认知负荷，基于各维度的特定分析。