[论文解读] Features and Aggregators for Web-scale Entity Search

Uma Sawant, Soumen Chakrabarti|arXiv (Cornell University)|Mar 13, 2013

Topic Modeling参考文献 29被引用 3

一句话总结

本文提出了一种统一的、可训练的框架，用于大规模网络实体搜索，通过判别式学习联合优化片段级打分与实体级聚合。该框架引入了一种通用的特征编码方式，用于建模查询词的困惑度与实体提及的词汇接近度，并直接在实体级相关性上进行训练，在大规模、嘈杂的网络数据集上相比先前系统提升了8%的MAP，同时在TREC数据集上达到或超过当前最先进水平。

ABSTRACT

We focus on two research issues in entity search: scoring a document or snippet that potentially supports a candidate entity, and aggregating scores from different snippets into an entity score. Proximity scoring has been studied in IR outside the scope of entity search. However, aggregation has been hardwired except in a few cases where probabilistic language models are used. We instead explore simple, robust, discriminative ranking algorithms, with informative snippet features and broad families of aggregation functions. Our first contribution is a study of proximity-cognizant snippet features. In contrast with prior work which uses hardwired "proximity kernels" that implement a fixed decay with distance, we present a "universal" feature encoding which jointly expresses the perplexity (informativeness) of a query term match and the proximity of the match to the entity mention. Our second contribution is a study of aggregation functions. Rather than train the ranking algorithm on snippets and then aggregate scores, we directly train on entities such that the ranking algorithm takes into account the aggregation function being used. Our third contribution is an extensive Web-scale evaluation of the above algorithms on two data sets having quite different properties and behavior. The first one is the W3C dataset used in TREC-scale enterprise search, with pre-annotated entity mentions. The second is a Web-scale open-domain entity search dataset consisting of 500 million Web pages, which contain about 8 billion token spans annotated automatically with two million entities from 200,000 entity types in Wikipedia. On the TREC dataset, the performance of our system is comparable to the currently prevalent systems. On the much larger and noisier Web dataset, our system delivers significantly better performance than all other systems, with 8% MAP improvement over the closest competitor.

研究动机与目标

• 解决实体搜索中片段打分与证据聚合缺乏统一、可训练方法的问题。
• 开发一种稳健的判别式框架，直接优化实体级相关性，而非片段级相关性。
• 在多样化数据集上评估该框架，包括大规模、嘈杂的网络数据集和TREC企业搜索数据集。
• 研究不同聚合函数与特征设计对实体排序性能的影响。
• 展示该系统在5亿网页与200万个实体上的可扩展性与有效性。

提出的方法

• 提出一种通用特征编码，联合建模查询词困惑度（通过逆文档频率）与与实体提及的词汇接近度，替代固定的接近度核函数。
• 引入一种成对排序损失函数，使模型直接在实体级相关性判断上进行训练，将多种聚合函数作为学习过程的一部分。
• 采用一组聚合函数（如求和、平均、软截断、软最大值），将其作为学习框架中的可训练组件。
• 使用判别式学习排序（L2R）方法，采用最大间隔或条件概率形式，避免依赖生成式语言模型。
• 对上下文得分采用对称聚合（如求和），避免使用非对称或基于排名的截断方式，后者在嘈杂数据中会降低性能。
• 执行离线实体标注与上下文打分，实现在大规模网络数据上高效查询时的推理。

实验结果

研究问题

• RQ1 一种统一的、可训练的特征表示，同时结合困惑度与接近度，是否能在实体搜索中优于固定的接近度核函数？
• RQ2 与基于片段级相关性判断并使用硬编码聚合的训练方式相比，直接在实体级相关性判断上进行端到端训练是否能提升性能？
• RQ3 不同聚合函数（如求和、平均、软截断）在多样化数据集上的实体排序性能有何影响？
• RQ4 在嘈杂、大规模网络环境中，对称聚合（如求和）是否比非对称或基于排名的截断更稳健？
• RQ5 特征 |S_e|（支持性上下文数量）在不同数据分布上的性能贡献程度如何？

主要发现

• 在包含5亿网页与200万个实体的大规模、嘈杂网络数据集上，所提系统相比最接近的竞争对手实现了8%的平均平均精度（MAP）提升。
• 在TREC数据集上，系统表现与Balog等人及MacDonald等人提出的最先进系统相当，所有指标（包括MRR与NDCG）均表现优异。
• 仅基于矩形编码的简单特征（同时编码困惑度与接近度）优于将接近度核函数与概率语言模型结合的方法。
• 在两个数据集上，求和聚合函数始终优于平均、软截断、SoftOr与SoftMax，表明应将证据求和而非归一化。
• 基于排名或非对称截断的策略在Web数据集上降低了性能，表明对称聚合在嘈杂环境中更具鲁棒性。
• 特征 |S_e|（支持性上下文数量）在TREC数据集中具有价值，但在Web数据集中无显著贡献，表明特征效用具有数据集依赖性。