[论文解读] Integrating Lexical and Temporal Signals in Neural Ranking Models for Searching Social Media Streams

Jinfeng Rao, Hua He+5 more|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出了一种端到端神经排序模型，通过将神经排序模型生成的查询-文档相似度向量与双向LSTM结合，整合词汇和时间信号，以实现社交媒体搜索中的时间连贯性建模。该方法显著优于竞争性的时间基线模型，尤其当使用多视角CNN作为词汇组件时，表明神经网络对两种信号的联合建模优于传统的核密度估计方法。

ABSTRACT

Time is an important relevance signal when searching streams of social media posts. The distribution of document timestamps from the results of an initial query can be leveraged to infer the distribution of relevant documents, which can then be used to rerank the initial results. Previous experiments have shown that kernel density estimation is a simple yet effective implementation of this idea. This paper explores an alternative approach to mining temporal signals with recurrent neural networks. Our intuition is that neural networks provide a more expressive framework to capture the temporal coherence of neighboring documents in time. To our knowledge, we are the first to integrate lexical and temporal signals in an end-to-end neural network architecture, in which existing neural ranking models are used to generate query-document similarity vectors that feed into a bidirectional LSTM layer for temporal modeling. Our results are mixed: existing neural models for document ranking alone yield limited improvements over simple baselines, but the integration of lexical and temporal signals yield significant improvements over competitive temporal baselines.

研究动机与目标

• 为解决实时搜索中对时间有序的短文本社交媒体帖子进行排序的挑战。
• 探究循环神经网络是否能比传统的核密度估计方法更好地建模社交媒体流中的时间连贯性。
• 开发一种端到端神经架构，联合学习推文流中的词汇相关性与时间模式。
• 评估不同神经排序模型在噪声大、短文本社交媒体文本情境下的有效性。
• 确定通过RNN集成时间信号是否能显著提升检索效果，超越仅依赖词汇的模型。

提出的方法

• 使用现有的神经排序模型（SM、DSSM、多视角CNN）生成查询-文档相似度向量作为输入特征。
• 将相似度向量输入双向LSTM层，以建模按时间戳排序的文档之间的时间依赖关系。
• 采用联合训练策略，端到端优化整个模型，实现词汇与时间信号的联合学习。
• 使用300维的GloVe词嵌入表示词向量，未知词随机初始化。
• 采用RMSProp优化算法并应用学习率衰减，训练最多25个周期，并采用早停策略。
• 采用Fisher的双侧配对随机化检验进行统计显著性评估。

实验结果

研究问题

• RQ1 循环神经网络能否有效建模时间有序社交媒体帖子中的时间连贯性，从而提升排序效果？
• RQ2 当不进行时间集成时，现有神经排序模型在短文本、噪声大的社交媒体文本上表现如何？
• RQ3 通过双向LSTM层集成时间信号是否能显著提升检索效果，超越仅依赖词汇的模型以及KDE等传统时间基线模型？
• RQ4 在该框架中，哪种神经排序组件（SM、DSSM、多视角CNN）最有利于联合的词汇-时间学习？
• RQ5 所提出的端到端架构在多大程度上优于基于最优KDE的基线方法？

主要发现

• 多视角CNN与双向LSTM时间层的结合，相较于仅依赖词汇的多视角CNN基线模型，取得了显著提升（p < 0.05）。
• 所提出的模型在所有标准指标（包括P@15）上均优于基于排序的KDE时间基线模型，且提升具有统计显著性。
• 多视角CNN + 双向LSTM模型在性能上接近最优KDE条件，在P@15上甚至超过它，尽管差异不具统计显著性。
• SM与DSSM模型单独使用时，效果反而劣于简单的词汇基线模型（QL），表明其在社交媒体场景中效果有限。
• 仅当与强大的词汇模型结合时，时间建模的集成才能带来显著收益，凸显了词汇组件选择的重要性。
• 该模型在早期精确率上的提升优于平均精确率，表明其可能倾向于将相关文档排在列表更靠前的位置。