[논문 리뷰] An Approach to Handle Big Data Warehouse Evolution

Darja Solodovnikova, Laila Niedrite|arXiv (Cornell University)|2018. 09. 12.

Advanced Database Systems and Queries참고 문헌 10인용 수 3

한 줄 요약

이 논문은 다양한 지연 시간을 가지는 이질적이고 다중 소스의 데이터에 대해 온라인 분석 처리(OLAP) 유사 분석을 지원함으로써 빅데이터 웨어하우스의 변화를 다루기 위한 메타데이터 기반의 데이터 웨어하우스 아키텍처를 제안한다. 이 접근법은 변화하는 데이터 소스와 진화하는 분석 요구사항에 적응하기 위해 동적 메타데이터 관리를 활용하며, 빅데이터 환경에서의 민첩하고 확장 가능한 데이터 웨어하우스를 가능하게 한다.

ABSTRACT

One of the purposes of Big Data systems is to support analysis of data gathered from heterogeneous data sources. Since data warehouses have been used for several decades to achieve the same goal, they could be leveraged also to provide analysis of data stored in Big Data systems. The problem of adapting data warehouse data and schemata to changes in these requirements as well as data sources has been studied by many researchers worldwide. However, innovative methods must be developed also to support evolution of data warehouses that are used to analyze data stored in Big Data systems. In this paper, we propose a data warehouse architecture that allows to perform different kinds of analytical tasks, including OLAP-like analysis, on big data loaded from multiple heterogeneous data sources with different latency and is capable of processing changes in data sources as well as evolving analysis requirements. The operation of the architecture is highly based on the metadata that are outlined in the paper.

연구 동기 및 목표

• 빅데이터 환경에서 진화하는 데이터 웨어하우스 스키마와 데이터 소스의 과제를 해결하기 위해.
• 다양하고 이질적인 소스에서 온 데이터에 대해 분석 워크로드, 특히 OLAP 유사 쿼리 지원하기 위해.
• 변경되는 분석 요구사항과 데이터 소스 변화에 대응하기 위해 데이터 웨어하우스 구조의 동적 적응을 가능하게 하기 위해.
• 중앙 집중식 메타데이터 관리 기반의 확장성 있고 확장 가능한 프레임워크를 제공하여 빅데이터 웨어하우스의 진화를 지원하기 위해.
• 통합된 데이터 웨어하우스 환경에서 이질적 데이터 소스 간의 상호운용성과 일관성을 확보하기 위해.

제안 방법

• 스키마, 데이터 라인리지, ETL 프로세스를 추적하기 위한 메타데이터 레이어를 갖춘 모듈식 데이터 웨어하우스 아키텍처 설계하기.
• 다양한 이질적 데이터 소스(예: 배치 및 실시간 스트림)에서의 메타데이터를 중앙 집중식 메타데이터 레포지터리에 통합하기.
• 진화하는 분석 필요에 따라 메타데이터를 사용해 ETL 파이프라인과 materialized view를 동적으로 구성하기.
• 소스 데이터 소스의 변경 사항을 추적하고 메타데이터 기반의 변환 규칙을 통해 이를 전파함으로써 스키마 진화 지원하기.
• 메타데이터로 정의된 계층과 측정치를 사용해 다차원 큐브를 materialization함으로써 OLAP 유사 분석 지원하기.
• 데이터 처리 로직을 메타데이터에서 분리함으로써 스키마 재작성 없이 런타임에서의 적응 가능하게 하기.

실험 결과

연구 질문

• RQ1 빅데이터 환경에서 데이터 소스 변화와 진화하는 분석 요구사항에 대해 데이터 웨어하우스 아키텍처가 어떻게 동적으로 적응할 수 있는가?
• RQ2 메타데이터는 이질적 데이터 소스 간의 스키마 진화와 데이터 통합을 위해 어떤 역할을 하는가?
• RQ3 다양한 지연 시간을 가지는 데이터를 처리하는 빅데이터 웨어하우스에서 OLAP 유사 분석 기능을 효과적으로 지원하기 위해선 어떻게 해야 하는가?
• RQ4 진화하는 데이터 소스 간의 데이터 변환 일관성과 추적 가능성을 보장하기 위한 메커니즘은 무엇인가?
• RQ5 메타데이터 기반 설계는 빅데이터 웨어하우스의 유지보수성과 확장성 향상에 어떻게 기여하는가?

주요 결과

• 제안된 아키텍처는 배치 및 실시간 데이터를 포함한 다양한 지연 특성을 가진 이질적 소스의 데이터를 원활하게 처리할 수 있다.
• 메타데이터 기반 설계 덕분에 기존 스키마 구조를 변경하지 않고도 ETL 프로세스와 materialized view의 동적 재구성 가능하다.
• ETL 로직이나 데이터베이스 스키마를 다시 작성하지 않고도 메타데이터 업데이트만으로 분석 요구사항의 진화를 지원할 수 있다.
• 메타데이터로 정의된 계층과 측정치를 통해 아키텍처는 빅데이터에서의 다차원 쿼리 가능성을 제공하며 OLAP 유사 분석을 촉진한다.
• 메타데이터 관리를 중앙 집중화하고 로직을 스키마 정의에서 분리함으로써 데이터 웨어하우스 진화의 운영 오버헤드를 감소시킨다.
• 실제 적용 사례에서의 통합을 통해 IFIP W.G. 2.6 워크숍에 통합된 바에 따라 빅데이터 관리 환경에서의 적용 가능성을 검증하였으며, 실현 가능성을 입증하였다.