[논문 리뷰] Coining goldMEDAL: A New Contribution to Data Lake Generic Metadata Modeling

Étienne Scholly, Pegdwendé N. Sawadogo외 6명|arXiv (Cornell University)|2021. 03. 24.

Data Quality and Management참고 문헌 18인용 수 12

한 줄 요약

이 논문은 데이터 레이크를 위한 매우 일반적인 메타데이터 모델인 goldMEDAL을 소개한다. 이 모델은 데이터 엔티티, 그룹화, 링크, 프로세스의 네 가지 핵심 개념을 통해 기존 모델을 일반화하며, 다양한 데이터 레이크 아키텍처를 민첩하게 모델링할 수 있도록 한다. 논문은 최신 기술 모델들을 재현함으로써 일반성의 가능성을 입증하고, 이질적인 데이터 환경에서 세 가지 물리적 구현을 통해 설계의 타당성을 검증한다.

ABSTRACT

The rise of big data has revolutionized data exploitation practices and led to the emergence of new concepts. Among them, data lakes have emerged as large heterogeneous data repositories that can be analyzed by various methods. An efficient data lake requires a metadata system that addresses the many problems arising when dealing with big data. In consequence, the study of data lake metadata models is currently an active research topic and many proposals have been made in this regard. However, existing metadata models are either tailored for a specific use case or insufficiently generic to manage different types of data lakes, including our previous model MEDAL. In this paper, we generalize MEDAL's concepts in a new metadata model called goldMEDAL. Moreover, we compare goldMEDAL with the most recent state-of-the-art metadata models aiming at genericity and show that we can reproduce these metadata models with goldMEDAL's concepts. As a proof of concept, we also illustrate that goldMEDAL allows the design of various data lakes by presenting three different use cases.

연구 동기 및 목표

• 기존 데이터 레이크 메타데이터 모델들이 특정 사용 사례에 맞춰져 있거나 확장성이 떨어지는 점을 해결하기 위해 일반성을 확보한다.
• MEDAL 및 GEMMS와 같은 이전 모델들이 비구조화된 데이터, 데이터 라인리지, 또는 동적 메타데이터 관리를 지원하지 못하는 한계를 극복한다.
• 형식적이고 재사용 가능한 메타데이터 모델링 프레임워크를 제공하여, 구조화된 데이터 레이크와 비구조화된 데이터 레이크 모두에서 완전한 라인리지 추적과 의미적 강화를 지원한다.
• goldMEDAL을 다양한 물리적 구현으로 변환할 수 있도록 하여, 실제 데이터 레이크 배포 환경에서의 적응 가능성과 타당성을 입증한다.
• 비기술적 사용자가 데이터 레이크를 활용할 수 있도록 산업화 레이어를 제공함으로써 FAIR 원칙(발견 가능성, 접근 가능성, 상호운용성, 재사용성)을 지원한다.

제안 방법

• 형식적 엄밀성과 구현 준비성을 확보하기 위해 개념적, 논리적(그래프 이론 기반), 물리적 세 단계의 모델링 접근법을 적용한다.
• 네 가지 핵심 개념을 정의한다: 데이터 엔티티(원본 또는 처리된 데이터), 그룹화(존 또는 레벨로 구성된 논리적 조직), 링크(의미적 또는 구조적 관계), 프로세스(데이터 라인리지 및 변환 워크플로우).
• 모호성을 제거하기 위해 형식적 표현을 사용하고, 가독성과 접근성을 높이기 위해 UML 다이어그램을 활용한다.
• goldMEDAL의 개념을 세 가지 서로 다른 물리적 모델로 변환한다: Hadoop 기반 시스템용 Apache Atlas, 의미적 강화를 위한 그래프 기반 모델, 경량 통합을 위한 JSON 기반 모델.
• 최신 모델들(GEMMS, Ground, HANDLE, Ravat & Zhao)의 핵심 기능을 goldMEDAL의 핵심 개념을 통해 매핑하고 재현함으로써 일반성의 가능성을 입증한다.
• 어휘어휘사전과 기반 링크 메타데이터(예: 동의어, 반대어)를 통합하여 의미적 상호운용성과 동적 데이터 탐색을 지원한다.

실험 결과

연구 질문

• RQ1 이질적인 데이터 레이크 아키텍처 전반에 걸쳐 형식적으로 엄밀하고 광범위하게 적용 가능한 메타데이터 모델을 설계할 수 있는가?
• RQ2 data 단위, 라인리지, 메타데이터 유형 등의 핵심 개념을 기준으로 goldMEDAL이 기존 메타데이터 모델을 어느 정도 일반화할 수 있는가?
• RQ3 메타데이터 모델은 비구조화되거나 반구조화된 데이터 환경에서 완전한 데이터 라인리지 추적과 프로세스 추적을 어떻게 지원할 수 있는가?
• RQ4 goldMEDAL은 Apache Atlas나 그래프 기반 레포지토리와 같은 실제 물리적 메타데이터 시스템에 효과적으로 매핑되고 구현될 수 있는가?
• RQ5 메타데이터 모델링은 비기술적 사용자가 데이터 레이크에 접근하고 분석할 수 있도록 하는 데 어떤 역할을 할 수 있는가? 이는 FAIR 원칙을 지원하는 데 기여하는가?

주요 결과

• goldMEDAL은 GEMMS, Ground, HANDLE, Ravat & Zhao 등의 기존 모델을 그 핵심 개념을 goldMEDAL의 네 가지 기초 추상화를 통해 표현함으로써 성공적으로 일반화한다.
• 프로세스 개념을 통해 데이터 라인리지를 네이티브로 지원함으로써, HANDLE과 같은 최근 모델이 누락한 기능을 보완하며, 동적 데이터 관리 측면에서 중요한 발전을 이룬다.
• Apache Atlas, 그래프 기반 모델, JSON 기반 모델의 세 가지 서로 다른 물리적 구현은 goldMEDAL이 다양한 기술 스택과 데이터 유형에 걸쳐 유연성을 발휘함을 입증한다.
• 어휘어휘사전과 의미적 링크(예: 동의어, 관련 용어)의 통합은 고급 메타데이터 탐색을 가능하게 하며, 이질적인 데이터 레이크에서의 상호운용성을 지원한다.
• goldMEDAL의 형식적이고 모듈화된 설계는 실제 메타데이터 시스템으로의 체계적 매핑을 가능하게 하여 재사용성과 유지보수성을 향상시킨다.
• 의미적 강화와 사용자 友好的한 메타데이터 액세스 레이어를 통해 발견 가능성, 접근 가능성, 재사용성을 지원함으로써, FAIR 원칙을 충족시킨다.