[논문 리뷰] Evaluating the Quality of RDF Data Sets on Common Vocabularies in the Social, Behavioral, and Economic Sciences

Thomas Hartmann, Benjamin Zapilko외 2명|arXiv (Cornell University)|2015. 04. 17.

Semantic Web and Ontologies참고 문헌 4인용 수 4

한 줄 요약

이 논문은 사회·행동·경제(SBE) 과학 분야의 33개 SPARQL 엔드포인트에서 제공하는 15,694개의 RDF 데이터셋(42.6억 트리플)을 DDI-RDF, RDF Data Cube(QB), SKOS의 세 핵심 어휘를 기반으로 한 115개의 제약 조건을 사용해 데이터 품질을 평가한다. 구조적, 의미적, 문법적 제약 조건에서 광범위한 위반이 발견되어 표준 어휘를 사용하고 있음에도 불구하고 심각한 데이터 품질 문제를 드러내며, SBE 연구 데이터의 RDF 검증 관행 향상을 위한 기반을 마련한다.

ABSTRACT

From 2012 to 2015 together with other Linked Data community members and experts from the social, behavioral, and economic sciences (SBE), we developed diverse vocabularies to represent SBE metadata and tabular data in RDF. The DDI-RDF Discovery Vocabulary (DDI-RDF) is designed to support the dissemination, management, and reuse of unit-record data, i.e., data about individuals, households, and businesses, collected in form of responses to studies and archived for research purposes. The RDF Data Cube Vocabulary (QB) is a W3C recommendation for expressing data cubes, i.e. multi-dimensional aggregate data and its metadata. Physical Data Description (PHDD) is a vocabulary to model data in rectangular format, i.e., tabular data. The data could either be represented in records with character-separated values (CSV) or fixed length. The Simple Knowledge Organization System (SKOS) is a vocabulary to build knowledge organization systems such as thesauri, classification schemes, and taxonomies. XKOS is a SKOS extension to describe formal statistical classifications. To ensure high quality of and trust in both metadata and data, their representation in RDF must satisfy certain criteria - specified in terms of RDF constraints. In this paper, we evaluate the data quality of 15,694 data sets (4.26 billion triples) of research data for the social, behavioral, and economic sciences obtained from 33 SPARQL endpoints. We checked 115 constraints on three different and representative SBE vocabularies (DDI-RDF, QB, and SKOS) by means of the RDF Validator, a validation environment which is available at http://purl.org/net/rdfval-demo.

연구 동기 및 목표

• 공식적 제약 조건를 사용해 사회·행동·경제(SBE) 과학 분야의 RDF 데이터셋 품질을 평가하기 위해.
• 실제 SBE RDF 데이터셋에서 흔히 발생하는 데이터 품질 문제를 식별하기 위해.
• SBE 메타데이터 및 데이터에 대한 데이터 품질 규칙을 표현하고 시행하는 데 사용되는 다양한 제약 언어(SPARQL, OWL, SHACL 등)의 표현력과 실용성을 평가하기 위해.
• SBE 분야의 RDF 데이터 품질을 위한 검증된, 재사용 가능한 115개의 제약 조건 세트를 제공하기 위해.
• SBE 연구 데이터의 신뢰성과 재사용성을 높이기 위해 웹 상의 의미 웹에서 제약 기반 검증을 체계화하고 확장하기 위해.

제안 방법

• SBE 어휘 세 종류(DDI-RDF: 메타데이터, QB: 데이터 큐브, SKOS/XKOS: 어휘 및 분류)에 걸쳐 115개의 RDF 제약 조건를 정의함.
• 제약 조건를 심각도(예: 심각, 중대, 경미) 및 제약 언어(RDFS/OWL, SPARQL, 고수준 언어)에서의 표현 가능성으로 분류함.
• 공개된 http://purl.org/net/rdfval-demo에서 이용 가능한 RDF Validator 도구를 사용해 제약 조건를 구현함.
• SBE 기관의 33개 SPARQL 엔드포인트에서 온 15,694개 데이터셋(42.6억 트리플)에 대해 대규모 검증을 수행함.
• 도메인 전문가 및 사용 사례에서 유래한 제약 조건를 수집하고 정제함. DCMI 및 W3C RDF 검증 워크숍 자료를 기반으로 함.
• DCMI RDF 검증 요구사항 데이터베이스에서 확인된 81개의 제약 유형에 제약 조건를 매핑하여 실제 요구사항과의 일치를 확보함.

실험 결과

연구 질문

• RQ1 실제 SBE RDF 데이터셋에서 구조적, 의미적, 문법적 위반이 얼마나 퍼져 있는가?
• RQ2 다양한 제약 언어(SPARQL, OWL, SHACL 등)는 SBE 메타데이터 및 데이터에 대해 데이터 품질 규칙을 어떻게 표현하고 시행하는가?
• RQ3 SBE RDF 데이터셋에서 가장 자주 위반되는 제약 유형은 무엇이며, 이러한 위반은 데이터 품질 문제에 대해 어떤 통찰을 제공하는가?
• RQ4 현실에서 DDI-RDF, QB, SKOS 등의 기존 어휘 및 그 구현 방식은 데이터 품질 기준을 얼마나 충족하는가?
• RQ5 제약 기반 검증은 어떻게 체계화하고 표준화되어야 하며, 이를 통해 SBE 연구 데이터의 신뢰성과 재사용성을 웹 상의 의미 웹에서 어떻게 향상시킬 수 있는가?

주요 결과

• STRUCTURE-06 제약 조건(필수 속성 누락)에 대해 239,000건 이상의 위반이 기록되어 DDI-RDF 데이터셋에서 광범위한 구조적 결함이 있음을 시사함.
• LANGUAGE-TAG-CARDINALITY-02 제약 조건가 36,936개의 데이터셋(예: STW 어휘)에서 위반되어 SKOS 어휘에서 언어 태그 사용이 일관되지 않음을 확인함.
• 심각도 수준 '!'의 심각한 위반은 SKOS 및 XKOS에서 13개의 제약 조건에서 발견되었으며, DISJOINT-PROPERTIES-01 및 HTTP-URI-SCHEME-VIOLATION 등은 일부 경우에서 테스트한 모든 어휘에 영향을 미침.
• DDI-RDF 어휘에서 STRUCTURE-01 제약 조건에 대해 18,240건의 위반이 발생하여 메타데이터 기술서에서 필수적인 구조 요소가 누락되어 있음을 나타냄.
• RDF Data Cube(QB) 어휘에서 STRUCTURE-07 제약 조건에 대해 110,015건의 위반이 발생하여 큐브의 구조 및 차원성 문제를 드러냄.
• 15,694개의 데이터셋 전반에 걸쳐 총 115개의 제약 조건를 구현하고 검증함으로써, 잘 정립된 SBE 어휘에서도 여전히 데이터 품질 문제가 광범위하게 존재함을 입증함.