[论文解读] Hedera: Scalable Indexing and Exploring Entities in Wikipedia Revision History

Tuan Tran, Tu Ngoc Nguyen|arXiv (Cornell University)|Jan 14, 2017

Wikis in Education and Collaboration参考文献 2被引用 4

一句话总结

Hedera 是一个可扩展的、基于 Map-Reduce 的框架，可高效索引和探索 Wikipedia 完整修订历史中的语义实体。它在小型集群上数小时内即可处理 100 万个实体的 2.5 年修订记录，支持增量、时间感知的索引，实现动态实体演化分析，并通过 ElasticSearch 实现实时可视化。

ABSTRACT

Much of work in semantic web relying on Wikipedia as the main source of knowledge often work on static snapshots of the dataset. The full history of Wikipedia revisions, while contains much more useful information, is still difficult to access due to its exceptional volume. To enable further research on this collection, we developed a tool, named Hedera, that efficiently extracts semantic information from Wikipedia revision history datasets. Hedera exploits Map-Reduce paradigm to achieve rapid extraction, it is able to handle one entire Wikipedia articles revision history within a day in a medium-scale cluster, and supports flexible data structures for various kinds of semantic web study.

研究动机与目标

• 解决 DBpedia 等静态知识库无法捕捉 Wikipedia 内容中时间动态的局限性。
• 为语义网研究提供可扩展、灵活且增量的 Wikipedia 修订历史分析能力。
• 克服处理完整 Wikipedia 修订数据集的计算挑战，该数据集规模过大，无法由集中式系统处理。
• 通过时间感知索引支持动态探索实体演化、共现关系及时间关联。
• 为研究人员提供一个开源、可扩展的框架，用于原型设计和分析 Wikipedia 中的纵向语义变化。

提出的方法

• Hedera 使用 Hadoop Map-Reduce 框架，将原始 Wikipedia XML 修订转储文件的处理任务分布并行化。
• 支持两种分区策略：基于实体的（将同一实体的修订分组）和基于文档的（任意分发并跟踪链接）。
• 可自定义预处理器根据时间范围、实体列表或内容类型过滤数据，并输出 Hadoop 文件分片（XML 或 JSON 格式）。
• 转换层将提取操作（如实体检测、锚文本提取）下推至数据流中，以减少网络流量。
• 系统使用松散结构化的模式将结果索引到 ElasticSearch，支持增量更新和基于时间的查询。
• 时间索引基于锚文本和全文索引构建，支持以亚天粒度可视化实体随时间的动态变化。

实验结果

研究问题

• RQ1 我们如何在大规模场景下高效地从完整的 Wikipedia 修订历史中提取并索引语义实体？
• RQ2 与集中式方法相比，分布式 Map-Reduce 处理纵向 Wikipedia 数据的性能特征如何？
• RQ3 时间锚文本和全文索引如何揭示 Wikipedia 内容中的动态关系和事件？
• RQ4 增量索引能否支持对实体演化和共现模式的实时探索？
• RQ5 对于 Wikipedia 中的时间语义分析，使用像 Hedera 这样灵活可扩展的框架有哪些实际优势？

主要发现

• Hedera 在 8 个节点的集群上仅用数小时就处理了 100 万个实体的 2.5 年 Wikipedia 修订历史，总未压缩文本达 601 GB。
• 该系统在数据量增大时性能显著优于集中式索引方法，性能差距随数据量增加呈指数级扩大。
• 时间锚文本索引成功捕捉到与现实事件相关的实体提及峰值，例如 'Euro 2012' 和 'Olympic Games'。
• 对 Usain Bolt 和 Mo Farah 等实体的共现分析显示，在 2012 年夏季奥运会期间提及频率同步上升，证实了时间关联关系的检测能力。
• 灵活的过滤器和用户自定义的提取逻辑使研究人员能够快速在部分或时间过滤的修订数据上原型化研究工作负载。