[论文解读] A maturity model for catalogues of semantic artefacts

Óscar Corcho, Fajar J. Ekaputra+5 more|arXiv (Cornell University)|May 11, 2023

Big Data and Business Intelligence参考文献 33被引用 4

一句话总结

本文提出一个12维的成熟度模型，用于评估语义实体目录（如本体、词汇表和元数据模式），重点关注治理、互操作性和长期可持续性。该模型通过专家对26个实际目录的评估得到验证，涵盖元数据、开放性、PID和透明度等维度的43项可度量特征，为评估和改进符合FAIR原则和开放科学要求的语义实体目录提供标准化框架。

ABSTRACT

This work presents a maturity model for assessing catalogues of semantic artefacts, one of the keystones that permit semantic interoperability of systems. We defined the dimensions and related features to include in the maturity model by analysing the current literature and existing catalogues of semantic artefacts provided by experts. In addition, we assessed 26 different catalogues to demonstrate the effectiveness of the maturity model, which includes 12 different dimensions (Metadata, Openness, Quality, Availability, Statistics, PID, Governance, Community, Sustainability, Technology, Transparency, and Assessment) and 43 related features (or sub-criteria) associated with these dimensions. Such a maturity model is one of the first attempts to provide recommendations for governance and processes for preserving and maintaining semantic artefacts and helps assess/address interoperability challenges.

研究动机与目标

• 解决学术和研究基础设施中语义实体目录缺乏标准化评估框架的问题。
• 识别决定语义实体目录质量、可持续性和互操作性的关键维度与特征。
• 通过系统化的评估模型，支持语义实体的治理与长期保存。
• 实现跨不同领域和技术架构的现有目录的基准测试与改进。
• 推动FAIR原则的实施以及欧洲开放科学云（EOSC）互操作性目标的实现。

提出的方法

• 成熟度模型通过多阶段专家评审过程开发，涉及来自不同机构和领域的12位评审者。
• 每位评审者初步评估2–3个目录，识别出12个维度中的63项潜在特征，经迭代优化与统一处理。
• 通过迭代讨论、合并与剔除冗余或不相关条目，对特征进行验证与优化，最终确定43项特征。
• 该模型被应用于评估26个真实世界的目录，包括OntoPortal、OLS和SKOSMOS等系统，涵盖多种技术与应用领域。
• 使用包含12个标签页（每个维度一个）的结构化电子表格，记录特征、分配评审者并保存带注释的评估结果。
• 数据及成熟度模型本身以PDF、CSV、XSLX等多种格式发布在Zenodo上，确保透明度与可重用性。

实验结果

研究问题

• RQ1 评估语义实体目录成熟度时，哪些维度与特征最为关键？
• RQ2 标准化成熟度模型在多大程度上可提升语义实体目录的治理、可持续性与互操作性？
• RQ3 现有目录在开放性、透明度和PID支持等关键维度上，多大程度上符合成熟度模型所定义的标准？
• RQ4 如何在多样化技术与学科背景下，实现专家共识，以定义共享的语义实体目录评估框架？
• RQ5 成熟度模型在支持FAIR原则与欧洲开放科学云（EOSC）互操作性框架方面发挥何种作用？

主要发现

• 成熟度模型识别出12个核心维度——元数据、开放性、质量、可用性、统计、PID、治理、社区、可持续性、技术、透明度与评估——每个维度均包含具体且可度量的特征。
• 在评估的26个目录中，仅有15%存储了其所描述的语义实体副本，凸显长期保存方面存在关键缺口。
• 在26个目录中，仅有4个使用开源通用软件进行部署，表明其底层技术的可重用性与透明度普遍不足。
• 43项最终特征源自初始63项特征池，经专家评审与统一处理后形成，确保评估的一致性与清晰性。
• 成熟度模型成功应用于数字人文、生命科学与社会科学等多个领域的目录，展现出广泛的适用性。
• 所有数据，包括模型本身与评估结果，均已公开发布在Zenodo上，支持多种格式，确保可重现性与可重用性。