[论文解读] History by Diversity: Helping Historians search News Archives

Jaspreet Singh, Wolfgang Nejdl+1 more|arXiv (Cornell University)|Oct 24, 2018

Information Retrieval and Search Behavior参考文献 38被引用 25

一句话总结

本文提出 HistDiv，一种新颖的检索算法，通过在新闻档案中对主题方面和显著时间周期进行结果多样化，来建模历史查询意图。通过引入时间先验和方面-时间建模，HistDiv 提升了子主题召回率——尤其在历史复杂主题上表现更优——同时在精度略有下降的情况下仍保持较强的用户偏好。

ABSTRACT

Longitudinal corpora like newspaper archives are of immense value to historical research, and time as an important factor for historians strongly influences their search behaviour in these archives. While searching for articles published over time, a key preference is to retrieve documents which cover the important aspects from important points in time which is different from standard search behavior. To support this search strategy, we introduce the notion of a Historical Query Intent to explicitly model a historian's search task and define an aspect-time diversification problem over news archives. We present a novel algorithm, HistDiv, that explicitly models the aspects and important time windows based on a historian's information seeking behavior. By incorporating temporal priors based on publication times and temporal expressions, we diversify both on the aspect and temporal dimensions. We test our methods by constructing a test collection based on The New York Times Collection with a workload of 30 queries of historical intent assessed manually. We find that HistDiv outperforms all competitors in subtopic recall with a slight loss in precision. We also present results of a qualitative user study to determine wether this drop in precision is detrimental to user experience. Our results show that users still preferred HistDiv's ranking.

研究动机与目标

• 解决历史学家在新闻档案中寻求全面、时间与方面多样化的主题概览所面临的独特信息需求。
• 识别现有基于多样性的检索方法的局限性，这些方法未能考虑历史查询中的时间显著性与方面相关性。
• 开发一种检索模型，显式建模主题方面与重要时间窗口，以支持历史信息检索行为。
• 在来自《纽约时报》档案的 30 个经人工评估的历史查询新测试集上评估所提方法。
• 通过定性用户研究，比较 HistDiv 与基线方法，评估用户偏好与感知概览质量。

提出的方法

• 提出一种名为 '方面-时间多样化' 的新检索任务，以建模历史学家对重要子主题与关键历史时期覆盖的需求。
• 提出 HistDiv，一种新颖算法，通过从出版时间与时间表达式中提取的时间先验来加权文档相关性。
• 通过查询与文档内容中的信息，识别显著时间窗口与关键方面（如事件、实体、主题）来建模历史查询意图。
• 采用二维多样化策略，在不同方面与历史上重要时期的时间跨度之间实现平衡。
• 使用基于学习排序的框架，在控制精度的同时优化子主题召回率，参数基于历史相关性信号进行调优。
• 构建一个来自《纽约时报》档案（1987–2007）的 30 个历史查询测试集，经人工评估相关性与方面覆盖度。

实验结果

研究问题

• RQ1 与标准方法和时间多样化基线相比，HistDiv 在检索显著时间周期内多样化方面时表现如何？
• RQ2 与现有检索模型相比，HistDiv 在历史搜索任务中提升子主题召回率的程度如何？
• RQ3 HistDiv 中召回率与精度之间的权衡是否对用户对结果质量与概览完整性的感知产生负面影响？
• RQ4 历史学家与非专家在评估多样化结果的相关性与实用性方面有何差异？
• RQ5 在哪些类型的历史查询中，HistDiv 展现出显著优势或局限性？

主要发现

• HistDiv 在联合方面-时间空间中的子主题召回率上显著优于所有基线方法，证明其在关键时间周期内覆盖多样化历史方面的有效性。
• 尽管与部分基线相比精度略有下降，但定性用户研究显示用户更偏好 HistDiv 的排序结果，因其提供了更优的整体概览质量与主要文献的纳入。
• 用户研究发现，非专家对无关文章更敏感，尤其在主题名称模糊时（如 Charlie Sheen 与 Martin Sheen），而专家则更重视上下文多样性。
• 对于随时间在多个波动方面（如 Rudolph Giuliani 的政治、个人与健康相关事件）的复杂主题，HistDiv 提供了更全面且均衡的概览。
• 在以单一主题为主或方面多样性较低的查询中，HistDiv 存在局限性，此时召回率提升导致边缘相关文档被纳入。
• 结果表明，召回率与精度之间的权衡具有上下文依赖性：尽管精度有所损失，但常被用户对结果覆盖度与连贯性的感知提升所抵消。