[论文解读] Empowering Investigative Journalism with Graph-based Heterogeneous Data Management

Angelos‐Christos G. Anadiotis, Oana Balalau+7 more|arXiv (Cornell University)|Feb 8, 2021

Web Data Mining and Analysis参考文献 28被引用 9

一句话总结

本文提出 ConnectionLens，一种基于图的调查性新闻系统，通过信息抽取技术将异构的、无模式的数据（如 PDF、XML、关系型数据库）整合到统一的知识图谱中。该系统引入 P-GAM，一种并行内存关键字搜索引擎，相比以往系统实现数量级的速度提升，支持在生物医学数据中对利益冲突网络进行低用户投入、带溯源追踪的交互式探索。

ABSTRACT

Investigative Journalism (IJ, in short) is staple of modern, democratic societies. IJ often necessitates working with large, dynamic sets of heterogeneous, schema-less data sources, which can be structured, semi-structured, or textual, limiting the applicability of classical data integration approaches. In prior work, we have developed ConnectionLens, a system capable of integrating such sources into a single heterogeneous graph, leveraging Information Extraction (IE) techniques; users can then query the graph by means of keywords, and explore query results and their neighborhood using an interactive GUI. Our keyword search problem is complicated by the graph heterogeneity, and by the lack of a result score function that would allow to prune some of the search space. In this work, we describe an actual IJ application studying conflicts of interest in the biomedical domain, and we show how ConnectionLens supports it. Then, we present novel techniques addressing the scalability challenges raised by this application: one allows to reduce the significant IE costs while building the graph, while the other is a novel, parallel, in-memory keyword search engine, which achieves orders of magnitude speed-up over our previous engine. Our experimental study on the real-world IJ application data confirms the benefits of our contributions.

研究动机与目标

• 调查性新闻常依赖于大规模、动态且异构的数据源——结构化、半结构化和非结构化数据，使得传统数据集成方法失效。
• 记者因缺乏数据模式、用户专业度低，且需要追踪溯源，而在整理和查询此类数据时面临挑战。
• 现有系统在涉及低知名度实体和复杂多源关联的真实场景下，难以实现高效扩展。
• 本研究旨在构建一个可扩展、交互式且具备溯源能力的数据管理流水线，专为生物医学领域的调查性新闻而设计。
• 具体而言，本文旨在降低信息抽取成本，并通过并行内存处理加速异构图上的关键字搜索。

提出的方法

• 系统通过自动化信息抽取技术，将来自不同来源（PDF、XML、关系型数据库、电子表格）的数据摄入到单一异构图中。
• 应用抽取策略以选择性地处理数据源，在降低信息抽取开销的同时保留关键连接和溯源信息。
• 采用集中式图作为中介（GAM）算法，支持在统一图上进行关键字搜索，具备双向边遍历和灵活评分能力。
• P-GAM 是 GAM 的并行版本，利用共享内存并行计算加速在多核 CPU 上的搜索，提升通用硬件上的性能表现。
• 系统通过图形用户界面支持对查询结果及其邻域的交互式探索，使记者能够跨数据集发现隐藏关联。
• 端到端保留溯源信息，使记者可追溯每个实体或关系至其原始来源。

实验结果

研究问题

• RQ1 如何高效地将来自多个来源的异构、无模式数据整合到统一图中，以支持调查性新闻？
• RQ2 哪些技术可降低图构建过程中信息抽取的计算成本，同时不牺牲关键连接的完整性？
• RQ3 如何加速异构、动态图上的关键字搜索，以实现在真实调查性新闻应用中具备交互式响应时间？
• RQ4 并行内存搜索引擎在不同图规模和数据模型下，能在多大程度上保持查询准确性和溯源能力的同时实现可扩展性？
• RQ5 该系统能否支持发现低知名度实体，从而揭示跨数据集的关键利益冲突关联？

主要发现

• P-GAM 相较于先前的单线程 GAM 引擎实现数量级的速度提升，使真实世界生物医学利益冲突数据的交互式查询响应时间成为可能。
• 使用抽取策略使真实数据集上的信息抽取成本最高降低 60%，且未影响关键利益冲突关系的检测。
• 系统成功检索到跨越六种以上不同数据源的查询结果，证明了在异构环境中多数据源关键字搜索的有效性。
• 即使关键词复杂度增加，系统仍保持在目标交互响应时间范围内，证实其可扩展性。
• 系统完整保留所有结果的溯源信息，使记者能够验证和引用来源——这对新闻真实性至关重要。
• 将异构数据源整合到单一图中，成功发现了此前隐藏的关联，例如一个鲜为人知的行业协会资助了一位生物医学专家。