[論文レビュー] A maturity model for catalogues of semantic artefacts

Óscar Corcho, Fajar J. Ekaputra+5 more|arXiv (Cornell University)|May 11, 2023

Big Data and Business Intelligence参考文献 33被引用数 4

ひとこと要約

本論文は、メタデータスキーマやオントロジー、語彙といった意味的アーティファクトのデータベースを、ガバナンス、相互運用性、長期的持続可能性に焦点を当て、12次元の成熟度モデルを提案する。このモデルは、26の実世界のデータベースに対する専門家による評価を通じて検証され、メタデータ、オープンネス、PID、透明性などの次元にまたがる43の測定可能な特徴を含んでおり、FAIRおよびオープンサイエンスへの適合を評価・向上させるための標準化されたフレームワークを提供する。

ABSTRACT

This work presents a maturity model for assessing catalogues of semantic artefacts, one of the keystones that permit semantic interoperability of systems. We defined the dimensions and related features to include in the maturity model by analysing the current literature and existing catalogues of semantic artefacts provided by experts. In addition, we assessed 26 different catalogues to demonstrate the effectiveness of the maturity model, which includes 12 different dimensions (Metadata, Openness, Quality, Availability, Statistics, PID, Governance, Community, Sustainability, Technology, Transparency, and Assessment) and 43 related features (or sub-criteria) associated with these dimensions. Such a maturity model is one of the first attempts to provide recommendations for governance and processes for preserving and maintaining semantic artefacts and helps assess/address interoperability challenges.

研究の動機と目的

• 学術的および研究インfraストラクチャにおける意味的アーティファクトデータベースの標準化された評価フレームワークの欠如に対処すること。
• 意味的アーティファクトデータベースの品質、持続可能性、相互運用性を決定づける主要な次元と特徴を特定すること。
• 体系的な評価モデルを提供することで、意味的アーティファクトのガバナンスと長期的保存を支援すること。
• 多様な分野や技術スタックをカバーする既存のデータベースのベンチマーク化と改善を可能にすること。
• FAIR原則およびヨーロッパオープンサイエンスクラウド（EOSC）の相互運用性目標の実装に貢献すること。

提案手法

• 成熟度モデルは、多段階にわたる専門家レビューを経て開発され、多様な機関および分野に属する12名のレビュアーが関与した。
• 各レビュアーが2～3のデータベースを初期評価することで、12の次元にわたる63の潜在的特徴が特定され、段階的に洗練・統合された。
• 反復的な議論を通じて特徴が検証・洗練され、重複または不適切な項目が統合または削除され、最終的に43の特徴が得られた。
• モデルは、OntoPortal、OLS、SKOSMOSなどのシステムを含む26の実世界のデータベースに適用され、多様な技術と応用分野をカバーした。
• 12のシート（1次元ずつ）を備えた構造化されたスプレッドシートが、特徴の記録、レビュアーの割り当て、コメント付きの評価記録に使用された。
• データおよび成熟度モデル自体が、ZenodoにPDF、CSV、XSLXの複数形式で公開され、透明性と再利用性を確保した。

実験結果

リサーチクエスチョン

• RQ1 意味的アーティファクトデータベースの成熟度を評価するために、最も重要な次元と特徴は何か？
• RQ2 標準化された成熟度モデルは、意味的アーティファクトデータベースのガバナンス、持続可能性、相互運用性をどのように向上させるか？
• RQ3 既存のデータベースは、オープンネス、透明性、PID支援といった主要な次元において、成熟度モデルで定義された基準をどの程度満たしているか？
• RQ4 多様な技術的および学術的文脈において、共通の評価フレームワークを定義するための専門家コンセンサスをどのように達成できるか？
• RQ5 成熟度モデルは、FAIR原則およびヨーロッパオープンサイエンスクラウド（EOSC）の相互運用性フレームワークを支援するために果たす役割は何か？

主な発見

• 成熟度モデルは、メタデータ、オープンネス、品質、可用性、統計、PID、ガバナンス、コミュニティ、持続可能性、技術、透明性、評価の12のコア次元を特定し、各次元に具体的かつ測定可能な特徴を含む。
• 評価された26のデータベースのうちたった15％しか、記述している意味的アーティファクトのコピーを保存していなかった。これは、長期的保存における深刻なギャップを示している。
• 26のデータベースのうちたった4つしか、オープンソースで汎用的なソフトウェアを用いてデプロイしておらず、下位技術の再利用可能性と透明性が限られていることが明らかになった。
• 初期の63の特徴のうち、専門家によるレビューと統合を通じて43の最終的特徴が得られた。これにより、評価の一貫性と明確性が保証された。
• 成熟度モデルは、デジタルヒューマニティーズ、ライフサイエンス、社会科学など多様な分野のデータベースに成功裏に適用され、広範な適用可能性を示した。
• すべてのデータ、すなわちモデルと評価結果が、Zenodoに複数の形式で公開され、再現性と再利用性を確保した。