[논문 리뷰] Web data modeling for integration in data warehouses

Sami Miniaoui, Jérôme Darmont외 1명|arXiv (Cornell University)|2007. 05. 10.

Advanced Database Systems and Queries참고 문헌 11인용 수 7

한 줄 요약

이 논문은 웹 데이터의 이질적 종류(텍스트, 이미지, XML, 멀티미디어 등)를 데이터 웨어하우스에 통합하기 위해 UML 기반의 개념 모델을 제안한다. 이는 웹 데이터를 XML 논리 모델로 변환함으로써 통합 저장, DTD를 통한 메타데이터 강화, 관계형 데이터베이스로의 원활한 매핑을 가능하게 하여 OLAP 및 데이터 마이닝을 위한 데이터 준비를 향상시키며, 확장성과 성능 최적화를 지원한다.

ABSTRACT

In a data warehousing process, the data preparation phase is crucial. Mastering this phase allows substantial gains in terms of time and performance when performing a multidimensional analysis or using data mining algorithms. Furthermore, a data warehouse can require external data. The web is a prevalent data source in this context, but the data broadcasted on this medium are very heterogeneous. We propose in this paper a UML conceptual model for a complex object representing a superclass of any useful data source (databases, plain texts, HTML and XML documents, images, sounds, video clips...). The translation into a logical model is achieved with XML, which helps integrating all these diverse, heterogeneous data into a unified format, and whose schema definition provides first-rate metadata in our data warehousing context. Moreover, we benefit from XML's flexibility, extensibility and from the richness of the semi-structured data model, but we are still able to later map XML documents into a database if more structuring is needed.

연구 동기 및 목표

• 웹 데이터의 이질성(텍스트, 이미지, XML, 멀티미디어 등)을 데이터 웨어하우스에 통합하는 데 도전하는 것.
• 정형화된 데이터와 반구조화된 데이터를 모두 지원하는 단일 개념 모델로 다양한 데이터 소스를 통합하는 것.
• 기본적인 ETL을 넘어서 의미적 및 구조적 지능을 통합함으로써 다차원 분석 및 데이터 마이닝을 위한 데이터 준비를 향상시키는 것.
• 성능 및 쿼리 최적화를 위해 XML 논리 모델에서 관계형 또는 객체관계형 데이터베이스로의 효율적 매핑을 가능하게 하는 것.
• XML 스키마 기능(타입 지정, 상속 등)을 활용해 향후 확장성을 지원하는 것.

제안 방법

• 웹에서 발견되는 모든 다형 데이터 유형을 일반화하는 복합 객체를 위한 UML 개념 모델 설계.
• 데이터와 메타데이터를 동일한 형식으로 표현하기 위해 UML 모델을 XML 문서 유형 정의(DTD)로 변환하는 것.
• XML의 유연성과 확장성을 활용하여 HTML, XML, 일반 텍스트, 이미지, 오디오 등 다양한 데이터 소스를 단일 논리적 구조에 통합하는 것.
• 기존 기법을 활용해 XML 문서에서 전통적인 관계형 데이터베이스로의 매핑을 가능하게 하여 쿼리 성능 향상과 데이터 정렬을 개선하는 것.
• XML의 반구조화된 성격을 활용해 철저한 스키마 강제 없이도 크기, 형식, 키워드, 차원 등의 메타데이터 기반 설명을 지원하는 것.
• 향후 데이터 마이닝 기법을 데이터 준비 단계에 통합해 키워드, 색상 분포, 질감 등의 특징을 추출하고 색인 및 집계에 활용할 수 있도록 계획하는 것.

실험 결과

연구 질문

• RQ1 다양하고 이질적인 웹 데이터 소스를 데이터 웨어하우스에서 사용하기 위해 단일 개념 모델이 어떻게 통합될 수 있는가?
• RQ2 다양한 형식의 데이터를 논리 데이터 모델에서 데이터와 메타데이터를 효과적으로 표현하는 가장 적절한 방법은 무엇인가?
• RQ3 XML은 반구조화된 데이터와 구조화된 관계형 데이터베이스 사이의 다차원 데이터 웨어하우스 환경에서 어떤 다리 역할을 할 수 있는가?
• RQ4 자동 키워드 추출 또는 특징 탐지와 같은 지능형 전처리 기법이 OLAP 및 데이터 마이닝을 위한 데이터 준비를 어떻게 향상시킬 수 있는가?
• RQ5 확장 가능한 데이터 웨어하우스 아키텍처에서 변화하는 데이터 소스와 사용 패턴을 어떻게 관리할 수 있는가?

주요 결과

• 제안된 UML-XML 모델은 텍스트, 이미지, XML, 멀티미디어 등 다양한 데이터 유형을 단일이고 확장 가능한 개념적 프레임워크로 통합하는 데 성공했다.
• XML DTD의 사용은 메타데이터 지원을 선도적으로 제공하여 크기, 형식, 언어, 키워드 등의 데이터 특성에 대한 풍부한 기술을 가능하게 했다.
• 논리 모델은 관계형 데이터베이스로 직접 매핑 가능하여 기존 데이터 웨어하우스 인fra구조와의 호환성 및 쿼리 최적화를 보장했다.
• 기본적인 ETL을 넘어서 자동 특징 추출(예: 색상, 질감) 및 키워드 생성과 같은 지능적 요소를 데이터 준비 단계에 통합함으로써 더 나은 성능을 달성했다.
• XML 스키마를 통해 고급 타입 지정과 상속과 같은 향후 개선 사항을 지원하여 DTD에서 제공하지 못하는 기능도 구현했다.
• 사용 패턴에 기반한 물리적 데이터 재조직이 가능하여 다차원 분석에서 쿼리 응답 시간을 향상시켰다.