[论文解读] Fostering the integration of European Open Data into Data Spaces through High-Quality Metadata

Javier Conde, Alejandro Pozo+3 more|arXiv (Cornell University)|Feb 8, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

本文提出了一套开源软件堆栈，可自动化生成、验证并发布符合 DCAT 标准的高质量元数据，用于欧洲开放数据，实现与数据空间的无缝集成。该解决方案通过 YODA 门户对 200 多个数据集进行了验证，其可发现性得分达到满分 100/100，在 data.europa.eu 上的 FAIR 指标表现优异，证明了其在真实部署中的可扩展性与互操作性。

ABSTRACT

The term Data Space, understood as the secure exchange of data in distributed systems, ensuring openness, transparency, decentralization, sovereignty, and interoperability of information, has gained importance during the last years. However, Data Spaces are in an initial phase of definition, and new research is necessary to address their requirements. The Open Data ecosystem can be understood as one of the precursors of Data Spaces as it provides mechanisms to ensure the interoperability of information through resource discovery, information exchange, and aggregation via metadata. However, Data Spaces require more advanced capabilities including the automatic and scalable generation and publication of high-quality metadata. In this work, we present a set of software tools that facilitate the automatic generation and publication of metadata, the modeling of datasets through standards, and the assessment of the quality of the generated metadata. We validate all these tools through the YODA Open Data Portal showing how they can be connected to integrate Open Data into Data Spaces.

研究动机与目标

• 解决欧洲开放数据门户中低质量或非合规元数据这一关键障碍，该问题阻碍了其在新兴数据空间中的集成。
• 实现与 DCAT-AP v2.1.0 标准和 FAIR 原则一致的自动化、可扩展且标准化的元数据生成。
• 开发一个可重用的软件堆栈，将原始数据集转换为可发布、语义丰富的元数据，以实现互操作性数据交换。
• 在不同公共数据源（如 AEMET、SmartSantander、Smart Campus CEI Moncloa）中对解决方案进行真实场景下的验证。
• 证明高质量元数据可显著提升泛欧洲数据基础设施中数据的可发现性、可访问性和可重用性。

提出的方法

• 利用 Apache NiFi 实现从异构数据源的可扩展、实时数据摄取与转换。
• 实施一个元数据生成流水线，通过语义建模和元数据模板将原始数据集映射到 DCAT-AP v2.1.0 标准。
• 集成基于开放数据门户质量评估（MQA）框架的元数据质量评估模块，用于评估可发现性、可访问性、互操作性、可重用性和上下文性。
• 通过支持 OAI-PMH v2 的 ckanext-dcatapedp 扩展，自动化将数据集发布到基于 CKAN 的门户。
• 设计模块化、开源的软件堆栈，支持不同公共部门数据提供方的复用，并与欧洲数据门户集成。
• 为三个不同的数据源（AEMET、SmartSantander、Smart Campus CEI Moncloa）配置系统，以验证其可扩展性与跨领域适用性。

实验结果

研究问题

• RQ1 如何在大规模范围内实现对异构公共部门数据集的自动化、高质量元数据生成？
• RQ2 DCAT-AP v2.1.0 合规性在多大程度上提升了开放数据在数据空间中的 FAIR 性与互操作性？
• RQ3 标准化的自动化流水线是否能显著提升真实部署中可发现性和可重用性等元数据质量指标？
• RQ4 自动化元数据质量评估对泛欧洲数据基础设施中开放数据门户性能有何影响？
• RQ5 所提出的堆栈在保持高质量元数据的前提下，能否有效集成多样化的公共数据源至欧洲数据门户？

主要发现

• YODA 门户在 data.europa.eu 上的可发现性得分为满分 100.0/100.0，显著优于其他汇编目录的平均分 69.3。
• 可访问性得分为 96.0/100，高于平均分 53.7，表明数据可用性和机器可读性表现稳健。
• 互操作性得分为 80.0/100，远超平均分 40.2，表明 DCAT-AP 合规性良好且元数据结构化程度高。
• 可重用性得分为 75.0/100，超过平均分 51.3，反映出元数据丰富度和数据文档化效果良好。
• 上下文性（数据发现的关键维度）得分为 20.0/100，超过平均分 6.6 的三倍以上，表明数据上下文与来源信息更为优越。
• 该解决方案成功摄取并发布了来自三个不同公共数据源（AEMET、SmartSantander、Smart Campus CEI Moncloa）的 200 多个数据集，证明了其可扩展性与跨领域兼容性。