[논문 리뷰] Improving Schema Matching with Linked Data

Ahmad Assaf, Eldad Louw외 4명|arXiv (Cornell University)|2012. 05. 11.

Semantic Web and Ontologies참고 문헌 20인용 수 3

한 줄 요약

이 논문은 링크드 데이터—특히 프리베이스의 풍부한 타입—를 활용하여 표 형식 데이터 통합을 위한 스키마 매칭을 향상시키는 프레임워크를 제시한다. 열 헤더를 의미론적 타입으로 매핑하고 셀 값들을 연결된 실체로 매핑함으로써 구글 레파인에서 매칭 품질을 크게 향상시켜 비즈니스 인텔리전스 응용 프로그램을 위한 더 신뢰할 수 있는 데이터 통합을 가능하게 한다.

ABSTRACT

With today's public data sets containing billions of data items, more and more companies are looking to integrate external data with their traditional enterprise data to improve business intelligence analysis. These distributed data sources however exhibit heterogeneous data formats and terminologies and may contain noisy data. In this paper, we present a novel framework that enables business users to semi-automatically perform data integration on potentially noisy tabular data. This framework offers an extension to Google Refine with novel schema matching algorithms leveraging Freebase rich types. First experiments show that using Linked Data to map cell values with instances and column headers with types improves significantly the quality of the matching results and therefore should lead to more informed decisions.

연구 동기 및 목표

• 다양한 외부 소스에서 오는 이질적이고 노이즈가 많은 표 형식 데이터를 기업 데이터와 통합하는 데 도전하는 것.
• 데이터 형식과 용어 체계가 크게 다른 데이터 통합 워크플로우에서 스키마 매칭 품질을 향상시키는 것.
• 기술적 전문 지식이 적은 비즈니스 사용자가 반자동으로 데이터 통합을 수행할 수 있도록 하는 것.
• 링크드 데이터의 의미론적 풍부성을 활용해 열 헤더와 셀 값의 모호함을 해결하는 것.
• 외부 지식인 프리베이스 통합이 매칭 정밀도와 신뢰성 향상에 기여함을 입증하는 것.

제안 방법

• 프리베이스의 풍부한 타입 체계를 활용하는 스키마 매칭 알고리즘을 구글 레파인에 확장하는 것.
• 프리베이스의 온톨로지와 타입 계층을 사용해 열 헤더를 의미론적 타입으로 매핑하는 것.
• 엔티티 인식 및 해소 기법을 활용해 셀 값을 프리베이스의 특정 실체로 연결하는 것.
• 타입 기반 유사도와 실체 기반 매칭을 사용해 스키마 요소 간의 일치 점수를 계산하는 것.
• 사용자 친화적인 인터페이스에 매칭 파이프라인을 통합해 상호작용식 데이터 정제 및 통합을 가능하게 하는 것.
• 링크드 데이터로 강화된 어휘적, 구조적, 의미론적 기법을 조합한 하이브리드 매칭 전략을 적용하는 것.

실험 결과

연구 질문

• RQ1 링크드 데이터를 활용하면 반자동 데이터 통합 도구에서 스키마 매칭 정확도를 향상시킬 수 있는가?
• RQ2 프리베이스의 의미론적 타입을 사용하면 열 헤더와 셀 값의 해소에 어떻게 기여하는가?
• RQ3 외부 지식 통합이 노이즈가 많고 이질적인 데이터에 대한 스키마 일치 오류를 어느 정도 줄이는가?
• RQ4 구글 레파인과 링크드 데이터를 결합한 프레임워크가 비기술적 비즈니스 사용자에게 효과적이고 사용 가능할 수 있는가?
• RQ5 엔티티 연결과 타입 유추가 스키마 매칭 결과의 전반적인 품질에 어떤 영향을 미치는가?

주요 결과

• 프리베이스의 풍부한 타입 통합은 전통적 방법에 비해 스키마 매칭 정확도를 크게 향상시킨다.
• 열 헤더를 의미론적 타입으로 매핑함으로써 모호성이 감소하고 스키마 일치 결정에 대한 신뢰도가 증가한다.
• 셀 값을 프리베이스의 특정 실체로 연결함으로써 특히 모호하거나 짧은 값에 대해 속성 매칭 정밀도가 향상된다.
• 초기 실험 결과 매칭 품질 향상이 명확하게 측정되었으며, 이는 더 나은 데이터 통합 결과를 의미한다.
• 의미론적 풍부성 덕분에 비즈니스 사용자가 최소한의 수동 작업으로 더 신뢰할 수 있는 데이터 통합을 달성할 수 있다.
• 값들을 표준화되고 외부 검증된 지식 기반에 기반시킴으로써 노이즈가 많고 이질적인 데이터를 효과적으로 처리한다.