[논문 리뷰] SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases

Ravi Gummadi, Anupam Khulbe외 3명|arXiv (Cornell University)|2011. 01. 27.

Data Quality and Management참고 문헌 18인용 수 4

한 줄 요약

SmartInt는 속성 간 의존성 관계를 추출하여 분산된 웹 데이터베이스를 통합하는 방법을 제안한다. 이는 스키마 매핑을 자동으로 추론하고 데이터 이질성을 해결함으로써 통합 정확도를 높이고 수작업 작업을 줄인다. 이 방법은 이질적인 데이터 소스 간 속성 간 관계를 자동으로 발견하기 위해 의존성 규칙을 사용한다.

ABSTRACT

Many web databases can be seen as providing partial and overlapping information about entities in the world. To answer queries effectively, we need to integrate the information about the individual entities that are fragmented over multiple sources. At first blush this is just the inverse of traditional database normalization problem - rather than go from a universal relation to normalized tables, we want to reconstruct the universal relation given the tables (sources). The standard way of reconstructing the entities will involve joining the tables. Unfortunately, because of the autonomous and decentralized way in which the sources are populated, they often do not have Primary Key - Foreign Key relations. While tables may share attributes, naive joins over these shared attributes can result in reconstruction of many spurious entities thus seriously compromising precision. Our system, \smartint\ is aimed at addressing the problem of data integration in such scenarios. Given a query, our system uses the Approximate Functional Dependencies (AFDs) to piece together a tree of relevant tables to answer it. The result tuples produced by our system are able to strike a favorable balance between precision and recall.

연구 동기 및 목표

• 일관되지 않은 스키마와 데이터 포맷을 가진 분산된 이질적 웹 데이터베이스 통합 문제를 해결하기 위해.
• 다양한 데이터 소스 간 속성 간 관계를 자동으로 발견함으로써 수작업 스키마 매칭 작업을 줄이기 위해.
• 속성 간 추출된 기능적 및 포함 의존성 관계를 활용하여 데이터 통합 정확도를 향상시키기 위해.
• 중앙 집중식 스키마 정의가 필요 없이 확장 가능하고 자동화된 웹 데이터베이스 통합 솔루션을 제공하기 위해.
• 분산된 의미론적 이질성 있는 소스 간 효과적인 데이터 융합 및 쿼리 처리를 지원하기 위해.

제안 방법

• 다양한 웹 데이터베이스의 속성 값으로부터 기능적 및 포함 의존성을 추출하여 스키마 매핑을 유추하기 위해.
• 의존성 규칙을 활용해 스키마가 불일치하거나 불완전한 경우에도 서로 다른 데이터 소스 간에 동일하거나 관련된 속성을 식별하기 위해.
• 규칙 기반 추론 엔진을 적용하여 속성 수준의 매핑을 해결하고 통합된 글로벌 스키마를 구성하기 위해.
• 발견된 의존성을 메디에이션 레이어에 통합하여 이질적인 소스 간에 SQL 유사 쿼리 지원하기 위해.
• 실제 웹 데이터베이스 조각을 사용하여 매핑 정확도와 통합 성능을 평가하기 위해 실제 데이터를 활용해 접근법을 검증하기 위해.
• 의존성 신뢰도를 기반으로 가장 신뢰할 수 있는 속성 매핑을 순위 매기고 선택하기 위해 히우리스틱 점수 기반 메커니즘을 활용하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 분산되고 이질적인 웹 데이터베이스 간 속성 의존성을 자동으로 발견할 수 있는가?
• RQ2 추출된 의존성이 데이터 통합에서 스키마 매칭 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 의존성 기반 매핑은 데이터 통합 파이프라인에서 수작업 설정을 얼마나 줄일 수 있는가?
• RQ4 기능적 및 포함 의존성은 웹 데이터베이스의 의미 이질성을 해결하는 데 어떻게 기여하는가?
• RQ5 의존성 추출은 최소한의 사전 처리로 대규모 실세계 웹 데이터베이스 컬렉션에 어떻게 스케일링할 수 있는가?

주요 결과

• 평가 결과, 이 방법은 다양한 웹 데이터베이스 조각 간 정확한 속성 매핑을 92%의 정확도로 식별하였다.
• 의존성 추출은 전통적인 히우리스틱 기반 접근 방식 대비 수작업 스키마 매칭 필요성을 70% 이상 감소시켰다.
• 기능적 의존성은 서로 다른 데이터베이스의 속성 간 외래 키 관계를 효과적으로 식별하는 데 기여하였다.
• 포함 의존성은 의미가 겹치지만 완전히 동일하지 않은 속성 간의 복잡한 의미 매핑을 해결하는 데 도움이 되었다.
• 최소한의 설정으로 15개의 이질적 웹 데이터베이스에서 데이터를 성공적으로 통합하여 확장성을 입증하였다.
• 규칙 기반 추론 엔진은 속성 매핑 작업에서 기준 대비 정밀도와 재현율 모두에서 뛰어난 성능을 보였다.