[论文解读] Evaluation of Coordination Techniques in Synchronous Collaborative Information Retrieval

Colum Foley, Alan F. Smeaton|ArXiv.org|Aug 6, 2009

Recommender Systems and Techniques参考文献 7被引用 5

一句话总结

本文提出了一种基于仿真的评估方法，用于同步协作信息检索（SCIR）系统，重点关注分工与知识共享等协调技术。结果表明，系统主导的协调机制——尤其是分工——显著提升了群体搜索的有效性，通过增加结果的多样性与相关性，优于独立或无协调的搜索。

ABSTRACT

Traditional Information Retrieval (IR) research has focussed on a single user interaction modality, where a user searches to satisfy an information need. Recent advances in web technologies and computer hardware have enabled multiple users to collaborate on many computer-supported tasks, therefore there is an increasing opportunity to support two or more users searching together at the same time in order to satisfy a shared information need, which we refer to as Synchronous Collaborative Information Retrieval (SCIR). SCIR systems represent a significant paradigmatic shift from traditional IR systems. In order to support effective SCIR, new techniques are required to coordinate users' activities. In addition, the novel domain of SCIR presents challenges for effective evaluations of these systems. In this paper we will propose an effective and re-usable evaluation methodology based on simulating users searching together. We will outline how we have used this evaluation in empirical studies of the effects of different division of labour and sharing of knowledge techniques for SCIR.

研究动机与目标

• 为解决同步协作信息检索（SCIR）系统缺乏有效评估方法的问题。
• 研究系统主导的协调机制（如分工与知识共享）如何提升群体搜索表现。
• 开发一种可重用的、基于仿真的评估框架，以模拟两名用户之间的实时协作。
• 衡量群体有效性，超越个体表现，同时捕捉用户排序列表中的相关性与多样性。

提出的方法

• 使用参数化用户模型模拟两名用户实时协作，控制其与SCIR系统的交互。
• 采用增量相关性反馈，基于用户的相关性判断迭代优化搜索结果。
• 通过过滤结果实现分工，以最小化重叠并最大化任务在用户间的分配。
• 引入协作性与互补性相关性反馈机制，整合书签与共享相关性判断。
• 应用权威加权机制，通过为用户分配信任评分来降低不准确相关性评估的影响。
• 使用一种新指标衡量群体有效性：在给定截断点下，用户排序列表中检索到的唯一相关文档数量。

实验结果

研究问题

• RQ1 系统主导的分工在多大程度上影响同步协作搜索的有效性？
• RQ2 通过协作反馈实现的自动化知识共享在多大程度上改善了群体搜索结果？
• RQ3 个体相关性判断中的错误在多大程度上影响了协作反馈机制的表现？
• RQ4 权威加权反馈能否减轻SCIR中不良相关性评估的负面影响？
• RQ5 以最大化查询多样性为目标的互补相关性反馈是否能增强结果的多样性与相关性？

主要发现

• 系统主导的分工显著提升了群体搜索有效性，明显优于无协调或独立搜索。
• 分工与知识共享相结合，使用户排序列表中检索到的唯一相关文档总数更高。
• 结合共享书签的协作相关性反馈相比仅使用个体反馈，显著提升了结果质量。
• 权威加权机制降低了不准确相关性判断的负面影响，增强了协作反馈的鲁棒性。
• 互补相关性反馈有效提高了排序列表的多样性，有助于更全面地覆盖相关文档。
• 所提出的基于仿真的评估方法成功捕捉了群体层面的表现，包括多样性与相关性，超越了个体指标。