[论文解读] LISP -- A Rich Interaction Dataset and Loggable Interactive Search Platform
本文提出 LISP，一个可重复使用的数据集和完整基础设施，用于研究人机交互信息检索，将 61 位参与者的 122 次会话日志与丰富的参与者画像结合起来，并提供可公开获取的可重复 IIR 研究资源。
We present a reusable dataset and accompanying infrastructure for studying human search behavior in Interactive Information Retrieval (IIR). The dataset combines detailed interaction logs from 61 participants (122 sessions) with user characteristics, including perceptual speed, topic-specific interest, search expertise, and demographic information. To facilitate reproducibility and reuse, we provide a fully documented study setup, a web-based perceptual speed test, and a framework for conducting similar user studies. Our work allows researchers to investigate individual and contextual factors affecting search behavior, and to develop or validate user simulators that account for such variability. We illustrate the datasets potential through an illustrative analysis and release all resources as open-access, supporting reproducible research and resource sharing in the IIR community.
研究动机与目标
- 通过提供全面、可重用的数据集，将交互日志与参与者特征和上下文耦合，推进可重复的 IIR 研究。
- 分析个体差异和情境因素如何影响搜索行为。
- 支持开发和验证能够考虑用户行为变异性的用户模拟器。
- 提供完备的实验设置文档和可适配的基础设施，便于在 IIR 领域开展新的用户研究。
提出的方法
- 从 122 次会话的 61 位参与者的论证检索任务中收集详细的交互日志。
- 用参与者画像（包括感知速度、主题特定兴趣、搜索专业水平和人口统计信息）丰富日志。
- 开发并发布一个可记录的交互式搜索平台（lisp），具备全面日志记录与可适配的 UI 组件。
- 提供完备的实验设置文档和感知速度测试，以实现可复制性。
- 进行示例性分析，演示在模拟器开发和行为建模中的实用性。
实验结果
研究问题
- RQ1RQ1：感知速度如何影响用户观察到的搜索行为？
- RQ2RQ2：对某一主题的兴趣水平如何影响用户观察到的搜索行为？
主要发现
- 感知速度差异在大多数衡量指标上对高-PS 与低-PS 组仅产生较小、非显著的差异。
- 在高兴趣主题中，聚合行为显示一些差异：更多的查询，但每次查询耗时更少，点击或标注的文档更少。
- 马尔可夫模型显示在不同兴趣条件下，交互序列整体相似性较高，提示除了聚合指标外，情境仍然重要。
- 具有高兴趣的参与者提交更多查询，但每次查询的时间更短，查看的片段和文档更少。
- 用例研究表明，兴趣效应在查询级别比在完整会话聚合中更显著。
- 该数据集支持开发和验证能够结合认知特征与情境因素的用户模拟器。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。