[논문 리뷰] An Architecture Framework for Complex Data Warehouses

Jérôme Darmont, Omar Boussaïd외 2명|ArXiv.org|2007. 07. 10.

Advanced Database Systems and Queries참고 문헌 7인용 수 4

한 줄 요약

이 논문은 메타데이터와 XML 중심의 아키텍처 프레임워크를 제안하여 다층적, 다원천, 다형식 데이터를 계층적 설계를 통해 통합함으로써 복잡한 데이터 웨어하우스를 관리한다. 이 프레임워크는 가상 및 중심집중형 웨어하우징을 모두 지원하며, 복잡한 데이터 환경에서 ETL, 통합, 분석, 성능 최적화 과정에 메타데이터와 도메인 전문 지식을 강조한다.

ABSTRACT

Nowadays, many decision support applications need to exploit data that are not only numerical or symbolic, but also multimedia, multistructure, multisource, multimodal, and/or multiversion. We term such data complex data. Managing and analyzing complex data involves a lot of different issues regarding their structure, storage and processing, and metadata are a key element in all these processes. Such problems have been addressed by classical data warehousing (i.e., applied to "simple" data). However, data warehousing approaches need to be adapted for complex data. In this paper, we first propose a precise, though open, definition of complex data. Then we present a general architecture framework for warehousing complex data. This architecture heavily relies on metadata and domain-related knowledge, and rests on the XML language, which helps storing data, metadata and domain-specific knowledge altogether, and facilitates communication between the various warehousing processes.

연구 동기 및 목표

• 다양한 이질성의 차원(다형식, 다소스, 다형태, 다버전 포함)을 가진 복잡한 데이터의 개념을 정의하고 체계화한다.
• 기존 데이터 웨어하우징이 비수치적, 이질적, 의미론적으로 풍부한 데이터를 처리하는 데 한계를 보이는 문제를 해결한다.
• 가상 및 중심집중형 복잡한 데이터 웨어하우징을 모두 지원하는 일반적인 아키텍처 프레임워크를 설계한다.
• 메타데이터와 도메인 전문 지식이 복잡한 데이터의 관리, 통합, 분석 과정에서 핵심적인 역할을 한다는 점을 강조한다.
• 복잡한 데이터 웨어하우징의 핵심 과제, 즉 데이터 통합, 다차원 모델링, 성능 최적화를 규명한다.

제안 방법

• 복잡한 데이터를 정의하기 위한 다섯 축 프레임워크를 제안: 다형식, 다형태, 다소스, 다모달, 다버전.
• 웨어하우스 커널, 메타데이터 및 지식 기반 레이어, 그리고 세 가지 핵심 프로세스(ETL/통합, 관리/모니터링, 분석/사용)로 구성된 계층적 아키텍처를 도입한다.
• 모든 레이어와 프로세스에서 데이터, 메타데이터, 통신 포맷으로 XML을 통합 포맷으로 사용한다.
• 네 가지 데이터 플로우 정의: 외부(ETL 및 분석), 내부(커널과 메타데이터 레이어 간), 메타데이터 관리, 참조 플로우(메타데이터를 중심 제어로 사용).
• 메디에이터를 통한 실시간 데이터 통합 방식인 가상 웨어하우징과 지속적 XML 문서 저장 방식인 중심집중형 XML 기반 웨어하우징을 모두 지원한다.
• 메타데이터와 도메인 지식을 표현하기 위해 XML 및 RDF 스키마를 제안하며, 표준화를 위해 CWM 통합 가능성을 고려한다.

실험 결과

연구 질문

• RQ1 다양한 이질성의 차원으로 정의되는 복잡한 데이터는 어떻게 체계적으로 특성화되고, 기존 데이터 웨어하우징 입력과 어떻게 구별될 수 있는가?
• RQ2 다양한 소스와 형식에서 복잡한 데이터의 통합, 관리, 분석을 지원하기 위해 필요한 아키텍처 구성 요소는 무엇인가?
• RQ3 메타데이터와 도메인 전문 지식은 어떻게系통적으로 모델링되고 활용되어 데이터 웨어하우징 프로세스를 향상시킬 수 있는가?
• RQ4 복잡한 데이터 웨어하우징에서의 주요 성능 및 확장성 과제는 무엇이며, 아키텍처 설계를 통해 어떻게 해결할 수 있는가?
• RQ5 기존 표준인 CWM이 복잡한 데이터 웨어하우징 요구사항을 얼마나 확장하거나 적응시킬 수 있는가?

주요 결과

• 제안된 아키텍처 프레임워크는 가상 및 중심집중형 접근 방식을 모두 지원하는 포괄적이고 확장 가능한 복잡한 데이터 웨어하우징 모델을 제공한다.
• 메타데이터와 도메인 전문 지식은 복잡성의 핵심 관리 요소로 규명되며, 의미적 이해와 프로세스 조율을 가능하게 한다.
• XML은 데이터, 메타데이터, 통신 포맷으로 통합 포맷으로 기능하여 이질적 소스와 프로세스 간의 상호운용성을 촉진한다.
• 프레임워크는 네 가지 별도의 데이터 플로우를 규명하며, 참조 플로우를 통해 모든 외부 작업(ETL, 분석)이 일관성과 정확성을 확보하기 위해 메타데이터와 지식에 의존하도록 보장한다.
• 분석 결과를 새로운 데이터 소스로 재사용할 수 있도록 하여 반복적이고 진화하는 데이터 웨어하우징 프로세스를 지원한다.
• 메타데이터 표현의 열린 과제를 규명하며, 특히 CWM이 복잡한 데이터 워크로드에 적합한지와 확장 또는 신규 메타모델이 필요한지에 대한 필요성을 제기한다.