[论文解读] CrowdGather: Entity Extraction over Structured Domains

Theodoros Rekatsinas, Amol Deshpande+1 more|arXiv (Cornell University)|Feb 24, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 36被引用 3

一句话总结

CrowdGather 通过利用分层属性查询，在结构化领域中提出一种自适应、预算感知的众包实体抽取框架，以提升覆盖率并降低成本。它采用统计收益估计和查询重叠分析，动态选择高价值查询，在相同预算下实现比基线方法高达 4 倍的实体产出。

ABSTRACT

Crowdsourced entity extraction is often used to acquire data for many applications, including recommendation systems, construction of aggregated listings and directories, and knowledge base construction. Current solutions focus on entity extraction using a single query, e.g., only using "give me another restaurant", when assembling a list of all restaurants. Due to the cost of human labor, solutions that focus on a single query can be highly impractical. In this paper, we leverage the fact that entity extraction often focuses on {\em structured domains}, i.e., domains that are described by a collection of attributes, each potentially exhibiting hierarchical structure. Given such a domain, we enable a richer space of queries, e.g., "give me another Moroccan restaurant in Manhattan that does takeout". Naturally, enabling a richer space of queries comes with a host of issues, especially since many queries return empty answers. We develop new statistical tools that enable us to reason about the gain of issuing {\em additional queries} given little to no information, and show how we can exploit the overlaps across the results of queries for different points of the data domain to obtain accurate estimates of the gain. We cast the problem of {\em budgeted entity extraction} over large domains as an adaptive optimization problem that seeks to maximize the number of extracted entities, while minimizing the overall extraction costs. We evaluate our techniques with experiments on both synthetic and real-world datasets, demonstrating a yield of up to 4X over competing approaches for the same budget.

研究动机与目标

• 解决在大型、多样化领域中，单查询众包实体抽取成本过高且覆盖率差的问题。
• 在具有分层属性的结构化领域中实现自适应查询，以提升对稀有或不热门实体的发现能力。
• 在固定货币预算下，最大化提取的唯一实体数量。
• 开发统计技术，以在缺乏先验信息的情况下估计额外查询的预期收益。
• 利用查询结果之间的结构重叠，指导稀疏领域中的成本效益查询选择。

提出的方法

• 将结构化领域建模为偏序集（posets），其中每个节点代表一个结合属性值的查询。
• 引入基于回归的方法，在初始结果稀疏时估计额外查询的预期收益。
• 利用查询结果重叠来推断潜在收益，并指导 poset 中的自适应查询选择。
• 应用自适应优化算法，在预算约束下平衡探索（新查询）与利用（重复高收益查询）。
• 使用统计工具，在不了解总体规模的情况下推理发现新实体的可能性。
• 利用属性中已知的分层结构（例如，餐饮类型、地理位置、外卖服务）生成有针对性且多样化的查询。

实验结果

研究问题

• RQ1 如何在最小化成本的前提下，通过众包高效探索大型结构化数据领域？
• RQ2 在初始结果稀疏时，哪些统计技术可以估计额外查询的预期收益？
• RQ3 如何利用查询结果之间的重叠，指导稀疏领域中的自适应查询选择？
• RQ4 与固定查询策略相比，结构化领域上的自适应查询选择在实体产出和成本效率方面表现如何？
• RQ5 在预算有限且信息不完全的情况下，能否实现接近全知性能的实体抽取？

主要发现

• CrowdGather 在相同预算下，实体产出比竞争基线方法最高提升 4 倍。
• 该框架通过动态将注意力转向 poset 中未充分探索的高潜力查询区域，减少了在热门实体上的无效查询。
• 在大型稀疏领域中，CrowdGather 的性能仅比具备完美信息的全知策略低 25%。
• 基于回归的收益估计技术即使在初始数据极少的情况下，也能有效预测查询效用。
• 利用查询之间的结构重叠显著提升了查询选择的效率，并减少了冗余劳动。
• 在合成数据集和真实世界数据集上，自适应策略在覆盖率和成本效益方面均优于固定查询和单查询方法。