[論文レビュー] Evaluating the Quality of RDF Data Sets on Common Vocabularies in the Social, Behavioral, and Economic Sciences

Thomas Hartmann, Benjamin Zapilko+2 more|arXiv (Cornell University)|Apr 17, 2015

Semantic Web and Ontologies参考文献 4被引用数 4

ひとこと要約

この論文は、社会的・行動的・経済的（SBE）科学分野における33のSPARQLエンドポイントから得た15,694のRDFデータセット（42.6億トリプル）を、DDI-RDF、RDF Data Cube（QB）、SKOSの3つのコア用語集を用いて115の制約条件で評価し、構造的・意味的・文法的制約における広範な違反を特定した。標準化された用語集が使用されておりながらも、深刻なデータ品質上の問題が明らかとなり、SBE分野の研究データにおけるRDF検証手法の改善に基盤を提供した。

ABSTRACT

From 2012 to 2015 together with other Linked Data community members and experts from the social, behavioral, and economic sciences (SBE), we developed diverse vocabularies to represent SBE metadata and tabular data in RDF. The DDI-RDF Discovery Vocabulary (DDI-RDF) is designed to support the dissemination, management, and reuse of unit-record data, i.e., data about individuals, households, and businesses, collected in form of responses to studies and archived for research purposes. The RDF Data Cube Vocabulary (QB) is a W3C recommendation for expressing data cubes, i.e. multi-dimensional aggregate data and its metadata. Physical Data Description (PHDD) is a vocabulary to model data in rectangular format, i.e., tabular data. The data could either be represented in records with character-separated values (CSV) or fixed length. The Simple Knowledge Organization System (SKOS) is a vocabulary to build knowledge organization systems such as thesauri, classification schemes, and taxonomies. XKOS is a SKOS extension to describe formal statistical classifications. To ensure high quality of and trust in both metadata and data, their representation in RDF must satisfy certain criteria - specified in terms of RDF constraints. In this paper, we evaluate the data quality of 15,694 data sets (4.26 billion triples) of research data for the social, behavioral, and economic sciences obtained from 33 SPARQL endpoints. We checked 115 constraints on three different and representative SBE vocabularies (DDI-RDF, QB, and SKOS) by means of the RDF Validator, a validation environment which is available at http://purl.org/net/rdfval-demo.

研究の動機と目的

• 形式的制約を用いて、社会的・行動的・経済的（SBE）科学分野におけるRDFデータセットの品質を評価すること。
• SPARQLエンドポイントを通じて公開された現実世界のSBE RDFデータセットにおける一般的なデータ品質上の問題を同定すること。
• SBEメタデータおよびデータにおけるデータ品質ルールを表現・実装するための、さまざまな制約言語（例：SPARQL、OWL、SHACL）の表現力と実用性を評価すること。
• SBE分野におけるRDFデータ品質のための、検証済みで再利用可能な115の制約条件を提供すること。
• SBE研究データのセマンティックウェブ上における信頼性と再利用性を向上させるために、制約ベースの検証をスケーラブルかつ標準化する手助けをすること。

提案手法

• SBE用語集3つ（DDI-RDF［メタデータ］、QB［データキューブ］、SKOS/XKOS［語彙と分類］）にまたがる115のRDF制約条件を定義した。
• 制約の深刻度（例：深刻、重大、軽微）と、制約言語（RDFS/OWL、SPARQL、高水準言語）における表現可能性に分類した。
• RDF Validatorツールを用いて制約条件を実装し、公開済みのURL（http://purl.org/net/rdfval-demo）で入手可能にした。
• SBE機関に所属する33のSPARQLエンドポイントから得た15,694件のデータセット（42.6億トリプル）を対象に大規模な検証を実施した。
• ドメインの専門家やユースケースから得た制約条件を収集・整備し、DCMIおよびW3C RDF検証ワークショップの内容を基にした。
• DCMI RDF検証要件データベースで特定された81種類の制約タイプにマッピングすることで、実世界のニーズに整合した内容とした。

実験結果

リサーチクエスチョン

• RQ1 現実世界のSBE RDFデータセットにおいて、構造的・意味的・文法的違反がどれほど広範にわたっているか。
• RQ2 SPARQL、OWL、SHACLなどの異なる制約言語は、SBEメタデータおよびデータにおいて、どのようにデータ品質ルールを表現・実装しているか。
• RQ3 SBE RDFデータセットで最も頻繁に違反される制約タイプは何か。また、これらの違反はデータ品質上の課題をどのように明らかにしているか。
• RQ4 DDI-RDF、QB、SKOSといった既存の用語集およびそれらの実装は、実際のデータ品質基準をどれほど満たしているか。
• RQ5 制約ベースの検証は、SBE研究データのウェブ上での信頼性と再利用性を向上させるために、どのようにスケーラブルかつ標準化できるか。

主な発見

• STRUCTURE-06制約（必須プロパティの欠落）に対して239,000件以上の違反が記録され、DDI-RDFデータセットにおける広範な構造的欠陥が判明した。
• LANGUAGE-TAG-CARDINALITY-02制約が36,936件のデータセット（例：STW語彙）で違反され、SKOS用語集における言語タグの使用が一貫していないことが判明した。
• 深刻度レベル'!'の重大な違反が、SKOSおよびXKOSの13の制約で確認され、DISJOINT-PROPERTIES-01やHTTP-URI-SCHEME-VIOLATIONなどの制約が、一部のテスト語彙では100％の影響を受けていた。
• DDI-RDF用語集では、STRUCTURE-01制約に対して18,240件の違反が確認され、メタデータ記述における必須構造要素の欠落が判明した。
• RDF Data Cube（QB）用語集では、STRUCTURE-07制約に対して110,015件の違反が確認され、キューブ構造および次元性に関する問題が浮き彫りになった。
• 15,694件のデータセットにわたり115の制約条件を実装・検証した結果、成熟したSBE用語集であっても、データ品質上の問題が広く存在することが明らかになった。