[论文解读] Barbara Made the News: Mining the Behavior of Crowds for Time-Aware Learning to Rank

Flávio Martins, João Magalhães+1 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Text Analysis Techniques参考文献 31被引用 11

一句话总结

本文提出RMTS，一种时间感知的端到端学习排序框架，通过挖掘来自多个网络源（Twitter、Wikipedia、新闻和查询日志）的群体行为，以提升微博搜索的相关性。通过统一整合来自不同来源的时间信号，并将其融入学习排序模型，RMTS在TREC 2013和2014微博检索评测数据集上，相较于词法模型实现了13.2%的相对性能提升，相较于强基线学习排序模型实现了6.2%的相对提升。

ABSTRACT

In Twitter, and other microblogging services, the generation of new content by the crowd is often biased towards immediacy: what is happening now. Prompted by the propagation of commentary and information through multiple mediums, users on the Web interact with and produce new posts about newsworthy topics and give rise to trending topics. This paper proposes to leverage on the behavioral dynamics of users to estimate the most relevant time periods for a topic. Our hypothesis stems from the fact that when a real-world event occurs it usually has peak times on the Web: a higher volume of tweets, new visits and edits to related Wikipedia articles, and news published about the event. In this paper, we propose a novel time-aware ranking model that leverages on multiple sources of crowd signals. Our approach builds on two major novelties. First, a unifying approach that given query q, mines and represents temporal evidence from multiple sources of crowd signals. This allows us to predict the temporal relevance of documents for query q. Second, a principled retrieval model that integrates temporal signals in a learning to rank framework, to rank results according to the predicted temporal relevance. Evaluation on the TREC 2013 and 2014 Microblog track datasets demonstrates that the proposed model achieves a relative improvement of 13.2% over lexical retrieval models and 6.2% over a learning to rank baseline.

研究动机与目标

• 通过整合时间相关性，解决标准检索模型在排序短文本、事件驱动型微博内容时的局限性。
• 通过整合来自多个群体数据流的时间信号，克服依赖单一来源（如Twitter或Wikipedia）所带来的偏差。
• 构建一个稳健且统一的框架，用于表示来自多样化网络来源的异构时间信号，以预测查询最相关的时间段。
• 通过在系统化的学习排序设置中建模社交媒体、新闻和Wikipedia中用户的集体行为，提升对时间敏感型查询的排序性能。

提出的方法

• 从四个来源挖掘时间信号：Twitter（帖子时间戳）、Wikipedia（页面浏览量和编辑历史）、新闻文章（发布时间戳）以及查询日志（点击-through模式）。
• 将每个来源的时间证据表示为加权时间序列，其中时间戳与基于信号强度（如浏览量、编辑频率）计算的相关性权重配对。
• 通过聚合所有来源的归一化时间序列，为每篇文档构建统一的时间特征向量，实现跨来源的时间对齐。
• 将统一的时间特征集成到学习排序框架（LTR）中，采用梯度提升树模型，以优化MAP和P30指标。
• 应用特征选择与消融实验，评估各来源的贡献，并检验模型对缺失数据的鲁棒性。
• 使用显著性检验（p < 0.01）验证相对于基线模型（包括BM25和词法学习排序模型）的性能提升。

实验结果

研究问题

• RQ1 整合来自多样化网络来源的多个群体时间信号，是否能提升微博搜索中的时间感知排序性能？
• RQ2 不同来源（如新闻、Wikipedia、Twitter）在识别查询最相关时间段方面分别起到何种作用？
• RQ3 所提出的模型在缺少单一时间数据源的情况下，其性能退化程度如何，即其鲁棒性如何？
• RQ4 对异构时间信号进行统一表征，是否能带来比单源方法更好的泛化能力与性能表现？
• RQ5 当初始Twitter结果中不存在明显的时间模式时，来自外部来源（如新闻和Wikipedia）的时间信号是否仍能提升检索效果？

主要发现

• RMTS在BM25和使用狄利克雷平滑的语言模型上实现了13.2%的MAP相对提升，且具有统计显著性（p < 0.01）。
• RMTS在性能上相较一个包含词法特征和领域特征的强学习排序基线模型提升了6.2%，同样具有统计显著性。
• 新闻来源对性能贡献最大，其移除导致MAP下降最多（2.74%），表明其在时间信号检测中的关键作用。
• 模型表现出高度鲁棒性：移除任意单一来源仅引起轻微性能下降（MAP最大下降2.74%），表明对缺失或异常数据具有较强容忍度。
• 对于大多数查询，包含至少一个外部来源（除Twitter外）均能提升性能，证实多源时间证据的价值。
• 统一的时间特征表征有效整合了异构信号，其中Wikipedia的页面浏览量和编辑历史在事件检测方面尤为有效。