[논문 리뷰] Warehousing Web Data

Jérôme Darmont, Omar Boussaïd외 1명|arXiv (Cornell University)|2007. 05. 10.

Advanced Database Systems and Queries참고 문헌 23인용 수 4

한 줄 요약

이 논문은 이질적인 웹 데이터를 통합된 데이터 웨어하우스 포맷으로 통합하기 위한 종합적인 모델링 프레임워크를 제안한다. 개념적 모델링에는 UML을, 논리적 표현에는 XML 스키마를 사용하며, 다형성 있는 데이터를 XML로 변환하기 위한 자바 프로토타입을 개발하여 관계형 ODS에 저장함으로써, 이후 스타 스키마를 통한 다차원 모델링을 가능하게 하여 효율적인 분석과 데이터 마이닝을 지원한다.

ABSTRACT

In a data warehousing process, mastering the data preparation phase allows substantial gains in terms of time and performance when performing multidimensional analysis or using data mining algorithms. Furthermore, a data warehouse can require external data. The web is a prevalent data source in this context. In this paper, we propose a modeling process for integrating diverse and heterogeneous (so-called multiform) data into a unified format. Furthermore, the very schema definition provides first-rate metadata in our data warehousing context. At the conceptual level, a complex object is represented in UML. Our logical model is an XML schema that can be described with a DTD or the XML-Schema language. Eventually, we have designed a Java prototype that transforms our multiform input data into XML documents representing our physical model. Then, the XML documents we obtain are mapped into a relational database we view as an ODS (Operational Data Storage), whose content will have to be re-modeled in a multidimensional way to allow its storage in a star schema-based warehouse and, later, its analysis.

연구 동기 및 목표

• 다양하고 이질적인 웹 데이터 소스를 통합된 데이터 웨어하우스 환경에 통합하는 데 도전 과제를 해결하기 위해.
• 다차원 분석 및 데이터 마이닝에서 시간을 단축하고 성능을 향상시키기 위해 데이터 준비 효율성을 향상시키기 위해.
• 웨어하우스 내에서 데이터 라인저리티와 품질을 지원하기 위해 스키마 정의를 통해 최고 수준의 메타데이터를 제공하기 위해.
• 다양한 형식(구조화된, 반구조화된, 비구조화된)의 웹 데이터를 표준화되고 기계로 처리 가능한 형식으로 변환할 수 있도록 하기 위해.
• 다음 다차원 모델링 및 분석을 위해 원시 웹 데이터에서 운영 데이터 스토어(ODS)로의 파이프라인을 구축하기 위해.

제안 방법

• 복잡한 객체와 관계를 표현하기 위해 다형성 있는 데이터의 개념적 스키마를 UML 클래스 다이어그램을 사용하여 모델링하기 위해.
• 이질적인 데이터의 표준화된 표현을 위해 XML 스키마(XSD)를 사용하여 논리적 데이터 모델을 정의하기 위해.
• 다양한 입력 데이터 형식을 표준화된 XML 문서로 파싱하고 변환하기 위해 자바 기반 프로토타입을 개발하기 위해.
• 결과로 생성된 XML 문서를 일시적 저장 및 처리를 위해 관계형 운영 데이터 스토어(ODS)에 매핑하기 위해.
• 장기적인 다차원 데이터 웨어하우스 저장을 위해 ODS 내용을 스타 스키마로 변환하기 위한 후속 처리 지원하기 위해.
• 스키마 정의 자체를 데이터 라인저리티, 품질, 통합을 위한 풍부한 메타데이터의 원천으로 활용하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 이질적이고 다형성 있는 웹 데이터를 통합된 데이터 웨어하우스 프레임워크에 효과적으로 모델링하고 통합할 수 있는가?
• RQ2 스키마 정의는 데이터 웨어하우징 과정 중 최고 수준의 메타데이터를 제공하는 데 어떤 역할을 할 수 있는가?
• RQ3 개념적 UML 모델을 체계적으로 논리적 XML 스키마로 변환하는 방법은 무엇인가?
• RQ4 다양한 웹 데이터를 표준화된 XML로 변환하기 위해 자바 프로토타입을 사용하는 것이 타당하고 효과적인가?
• RQ5 웹 데이터에서 ODS, 그리고 스타 스키마로 이르는 제안된 파이프라인은 효율적인 다차원 분석과 데이터 마이닝을 어떻게 지원하는가?

주요 결과

• 제안된 모델링 파이프라인은 UML과 XML 스키마를 사용하여 이질적인 웹 데이터를 표준화된 XML 형식으로 성공적으로 변환한다.
• 논리적 XML 스키마 모델은 자체 구조를 통해 내재된 메타데이터를 제공하여 데이터 이해도와 라인저리티를 향상시킨다.
• 자바 프로토타입은 ODS 통합을 위한 다형성 있는 데이터를 XML로 자동 변환하는 데의 타당성을 입증한다.
• ODS는 후속 스타 스키마로의 모델링을 가능하게 하여 효과적인 중간 저장 계층으로 기능한다.
• 전체 파이프라인이 데이터 준비를 효율적으로 지원하여 후속 데이터 마이닝 및 OLAP 작업에서 시간을 단축하고 성능을 향상시킨다.
• 이 방법론은 기업 데이터 웨어하우징 시스템에 외부 웹 데이터를 확장 가능하게 통합함으로써 데이터 품질과 일관성을 향상시킬 수 있다.