[논문 리뷰] Linked Data Integration with Conflicts

Jan Michelfeit, Tomáš Knap외 1명|arXiv (Cornell University)|2014. 10. 27.

Semantic Web and Ontologies참고 문헌 10인용 수 13

한 줄 요약

이 논문은 연결된 데이터 통합을 위한 충돌 해결 및 기원 추적 기능을 갖춘 새로운 데이터 융합 알고리즘과 융합된 데이터 품질을 평가하기 위한 새로운 F-품질 지표를 제안한다. ODCleanStore에 구현되어 실제 연결된 오픈 데이터에서 평가된 이 접근법은 다양한 소스의 맥락을 활용하여 스키마, 신원, 데이터 충돌을 해결함으로써 데이터의 간결성과 일관성을 향상시킨다.

ABSTRACT

Linked Data have emerged as a successful publication format and one of its main strengths is its fitness for integration of data from multiple sources. This gives them a great potential both for semantic applications and the enterprise environment where data integration is crucial. Linked Data integration poses new challenges, however, and new algorithms and tools covering all steps of the integration process need to be developed. This paper explores Linked Data integration and its specifics. We focus on data fusion and conflict resolution: two novel algorithms for Linked Data fusion with provenance tracking and quality assessment of fused data are proposed. The algorithms are implemented as part of the ODCleanStore framework and evaluated on real Linked Open Data.

연구 동기 및 목표

• 표준화된 메타데이터가 없는 상황에서 연결된 데이터 통합의 과제, 특히 충돌 해결 및 데이터 품질 평가에 대응하기 위해.
• 이질적인 연결된 데이터 소스에서 스키마, 신원, 데이터 충돌을 처리할 수 있는 확장성 있고 기원 인식 기반의 데이터 융합 알고리즘을 개발하기 위해.
• 충돌 해결 맥락을 고려한 다수의 소스에서의 충돌 상황을 반영하는 F-품질—융합된 데이터를 평가하기 위한 새로운 품질 지표—를 도입하기 위해.
• 증분 업데이트와 동적 스키마 변화를 지원하는 모듈식 프레임워크를 통해 실용적이고 지불형(_pay-as-you-go_) 데이터 통합을 가능하게 하기 위해.
• 실제 기업 및 오픈 데이터 환경에서의 실현 가능성과 성능을 입증하기 위해 실제 연결된 오픈 데이터에서 이 접근법을 평가하기 위해.

제안 방법

• 데이터 융합 알고리즘은 표준 URI와 기원 추적 기능을 사용하여 스키마, 신원, 속성 값의 충돌을 해결함으로써 다수의 RDF 소스를 통합한다.
• 빈 노드는 자율적 실체 또는 구조적 속성으로 간주되며, 탄력적인 통합을 지원하기 위해 구성 가능하게 처리된다.
• F-품질 지표는 충돌 해결 결과와 소스 간 값 일관성을 측정하여 융합된 데이터의 품질을 평가하며, 충돌하는 값에 대해 거리 기반 비교를 사용한다.
• 부분적으로 물리화된 접근 방식을 통해 증분 처리를 지원하여 전체 데이터셋을 다시 처리하지 않고도 동적 업데이트가 가능하다.
• 시스템은 ODCleanStore와 ODCS-FusionTool에 구현되어 SPARQL 기반 쿼리 및 충돌 인식 기반 데이터 검색을 가능하게 한다.
• 기원 추적 기능이 전반적으로 통합되어 있어 데이터 기원과 품질 결정을 원천 소스로 추적할 수 있다.

실험 결과

연구 질문

• RQ1 연결된 데이터 소스 간의 충돌하는 값은 어떻게 효과적으로 해결할 수 있으며, 동시에 데이터 기원과 품질을 유지할 수 있는가?
• RQ2 소스 기반 품질만 고려하는 것이 아니라 충돌 해결 맥락을 반영하는 융합된 데이터에 적합한 품질 지표는 무엇인가?
• RQ3 전역 식별자가 없는 상황에서 빈 노드는 어떻게 효과적으로 처리할 수 있는가?
• RQ4 충돌 인식 기반 데이터 융합은 실제 연결된 오픈 데이터에서 데이터의 간결성과 일관성에 얼마나 기여하는가?
• RQ5 기업 및 오픈 데이터 환경에서 효율적이고 확장 가능한 증분 데이터 융합 접근법은 지불형 방식으로 실현 가능한가?

주요 결과

• 제안된 데이터 융합 알고리즘이 실제 연결된 오픈 데이터에 적용되었을 때, 특히 충돌하는 값과 스키마 이질성 문제를 해결함으로써 데이터의 간결성과 일관성이 크게 향상되었다.
• F-품질 지표는 충돌 해결으로 인한 품질 향상을 성공적으로 측정하여, 명시적 품질 메타데이터가 없는 상황에서도 데이터 소비자가 정보에 기반한 결정을 내릴 수 있도록 했다.
• 기원 추적 기능은 데이터 기원의 완전한 추적성을 가능하게 하여 통합된 데이터의 신뢰성과 감사 가능성을 높였다.
• 성능 평가 결과, SPARQL를 통한 데이터 검색이 주요 성능 저하 요인으로 나타났으며, 실행 시간의 최대 90%를 차지하여 캐싱과 병렬 처리의 필요성을 강조했다.
• 시스템은 OpenData.cz 이니셔티브에서 1년 이상 활발히 사용되어 체코 공공 계약 및 유럽 연합 조달 데이터를 처리하며 장기적인 실현 가능성과 실용적 유용성을 입증했다.
• 프레임워크는 증분 업데이트와 동적 스키마 변화를 지원하여 실생활 적용에 필수적인 지불형 접근 방식을 가능하게 했다.