[论文解读] Large scale citation matching using Apache Hadoop

Mateusz Fedoryszak, Dominika Tkaczyk+1 more|arXiv (Cornell University)|Mar 26, 2013

Semantic Web and Ontologies参考文献 18被引用 4

一句话总结

本文提出了一种基于 Apache Hadoop 的可扩展引用匹配系统，利用近似索引和 MapReduce 技术，高效地将引用字符串匹配到大规模学术数据集中的参考文献。通过利用基于词元的相似性、三元语法和词元匹配，以及结合自定义索引的启发式过滤方法，该系统在 1200 万条引用数据集上实现了高性能，将匹配时间缩短至 4 节点集群下的 3 小时以内。

ABSTRACT

During the process of citation matching links from bibliography entries to referenced publications are created. Such links are indicators of topical similarity between linked texts, are used in assessing the impact of the referenced document and improve navigation in the user interfaces of digital libraries. In this paper we present a citation matching method and show how to scale it up to handle great amounts of data using appropriate indexing and a MapReduce paradigm in the Hadoop environment.

研究动机与目标

• 解决在包含数百万条引用的大规模学术数据集中扩展引用匹配的挑战。
• 设计一种基于 Apache Hadoop 和 MapReduce 模型的可扩展、分布式解决方案，以实现高效的引用解析。
• 开发一种近似索引策略，加速启发式匹配过程，同时不损失准确性。
• 为数字图书馆、科学计量分析和知识图谱构建提供大规模引用匹配能力。

提出的方法

• 使用条件随机场（CRF）进行引用解析，包含 42 个特征，包括字符类别、标点符号、词典查找以及相邻词元的上下文信息。
• 使用基于 Jaccard 的相似性度量，计算元数据字段（作者、标题、期刊、年份）之间的三元语法和词元相似性。
• 通过基于词元旋转和 MapReduce 构建的近似索引实现启发式匹配，从而实现每条引用的候选文献的快速检索。
• 在 Hadoop 中使用 MapFile 结构存储和高效查询索引，支持排序键和快速随机访问。
• 实现两阶段 MapReduce 流水线：(1) 引用提取和候选检索，(2) 相似度评分和最佳匹配选择，结合支持向量机（SVM）和字符串度量。
• 通过 map 任务（词元提取和旋转生成）和 reduce 任务（按词元分组并持久化至 SequenceFile）构建索引。

实验结果

研究问题

• RQ1 如何在分布式环境中高效扩展引用匹配，以处理数百万条引用？
• RQ2 何种索引策略能够实现快速、近似的引用字符串匹配，同时保持准确性？
• RQ3 如何优化元数据解析和相似性计算，以应对噪声多、异构性强的引用字符串？
• RQ4 使用 Hadoop 的 MapReduce 模型在引用匹配工作负载中能实现多大的性能提升？

主要发现

• 系统成功使用 4 节点 Hadoop 集群处理了来自 PMC 开放获取子集的超过 1200 万条引用。
• 索引构建耗时 57 秒，共 13 个 map 任务和 2 个 reduce 任务，证明了高效的并行构建能力。
• 启发式匹配阶段在 745 个 map 任务上耗时 3 小时 1 分钟，显著缩小了搜索空间。
• 最佳匹配选择阶段耗时 2 小时 51 分钟，使用 996 个 map 任务和 1 个 reduce 任务，确保了高精度结果。
• 整体匹配流水线耗时不足 3 小时，证明了使用 Hadoop 实现大规模引用匹配的可行性。
• 使用词元旋转和近似索引实现了快速候选检索，同时保持了高召回率。