[论文解读] Adapting Binary Information Retrieval Evaluation Metrics for Segment-based Retrieval Tasks

Robin Aly, Maria Eskevich+2 more|arXiv (Cornell University)|Dec 6, 2013

Advanced Image and Video Retrieval Techniques参考文献 4被引用 14

一句话总结

本文针对基于视频片段的检索任务（其中结果为可变长度的视频片段而非固定文档），提出了三种标准二值信息检索评估指标——n点精度、平均平均精度和判断覆盖率——的改进方法。通过引入重叠相关性、分箱相关性和容错相关性模型，以处理时间上的分段问题，从而在保留既有的成熟评估指标的同时，考虑用户在达到相关片段前对非相关内容的容忍度。

ABSTRACT

This report describes metrics for the evaluation of the effectiveness of segment-based retrieval based on existing binary information retrieval metrics. This metrics are described in the context of a task for the hyperlinking of video segments. This evaluation approach re-uses existing evaluation measures from the standard Cranfield evaluation paradigm. Our adaptation approach can in principle be used with any kind of effectiveness measure that uses binary relevance, and for other segment-baed retrieval tasks. In our video hyperlinking setting, we use precision at a cut-off rank n and mean average precision.

研究动机与目标

• 解决视频超链接等基于视频片段的检索系统评估挑战，其中结果为可变长度的视频片段而非固定文档。
• 在相关性判断基于时间片段定义的场景下，实现对成熟二值信息检索评估指标（如P@n、MAP）的复用。
• 考虑用户在达到相关片段前对非相关内容的容忍度，这是影响视频检索可用性的重要因素。
• 提供一个实用且可扩展的框架，将现有评估指标适配于视频超链接之外的新检索范式。

提出的方法

• 定义相关性判断函数，将检索到的片段映射为基于与真实相关片段时间重叠的二值相关性。
• 实现重叠相关性模型，即若结果在时间上与真实数据中的任意相关片段重叠，则判定为相关。
• 引入分箱相关性模型，将片段分组至固定大小的时间箱中，若结果的起始时间落入包含至少一个相关片段的箱子，则判定为相关。
• 提出容错相关性模型，假设用户从结果起始时间起观看固定时长；若在此窗口内遇到相关片段，则判定为相关。
• 设计一个脚本（me13sh_eval.py），在所有三种模型下计算标准信息检索指标，输出与标准评估工具（如treceval）兼容。
• 将三种模型应用于同一数据集，以比较指标行为并评估不同用户行为假设下的鲁棒性。

实验结果

研究问题

• RQ1 如何有效适配标准二值信息检索评估指标，使其适用于视频超链接等基于视频片段的检索任务？
• RQ2 关于用户对非相关内容容忍度的不同假设，对基于视频片段的检索系统评估有何影响？
• RQ3 所提出的三种模型——重叠相关性、分箱相关性和容错相关性——在对结果分段和相关性判断粒度的敏感性方面有何差异？
• RQ4 在可变长度视频片段上应用时，既有的信息检索指标是否仍能保持其可解释性及与用户有效性的相关性？

主要发现

• 重叠相关性模型提供了一种简单直观的片段相关性评估方式，但存在多个结果与同一相关片段重叠时导致过度计数的风险。
• 分箱相关性模型通过将时间上接近的结果和相关性判断聚类至固定时间箱中，减少了冗余，提升了评估的一致性。
• 容错相关性模型通过假设用户从每个结果起始时间起观看固定时长，更真实地反映了用户行为，从而带来更合理的相关性评估。
• 定量结果表明，不同模型下的指标值存在显著差异：例如，平均平均精度（MAP）从重叠模型的0.3000降至分箱模型的0.1594和容错模型的0.0997，表明系统性能表现因评估模型而异。
• 判断覆盖率（如Judged_30）在不同模型间存在差异，容错相关性模型的覆盖率较低（0.6422），低于重叠模型（0.6789），表明部分相关片段因用户观看限制而被遗漏。
• 实现的脚本成功在所有三种模型下计算了指标，支持直接比较，并实现了在基于视频片段的检索中对标准评估流程的复用。