[논문 리뷰] Data Lake Ingestion Management

Yan Zhao, Imen Megdiche외 1명|arXiv (Cornell University)|2021. 07. 05.

Data Quality and Management참고 문헌 12인용 수 6

한 줄 요약

이 논문은 데이터 레이크의 종단 간 데이터 원천, 잼입 프로세스 및 데이터셋 품질 추적을 중점으로 하여 포괄적인 메타데이터 모델과 관련 잼입 알고리즘을 제안한다. 이는 데이터의 가시성, 접근성 및 기원 추적을 향상시키는 메타데이터 관리 시스템을 도입하여, 배치 및 실시간 모드에서 모두 구조화된, 반구조화된, 비구조화된 형식의 데이터를 효율적으로 탐색하고 재사용하며 거버넌스를 수행할 수 있도록 한다.

ABSTRACT

Data Lake (DL) is a Big Data analysis solution which ingests raw data in their native format and allows users to process these data upon usage. Data ingestion is not a simple copy and paste of data, it is a complicated and important phase to ensure that ingested data are findable, accessible, interoperable and reusable at all times. Our solution is threefold. Firstly, we propose a metadata model that includes information about external data sources, data ingestion processes, ingested data, dataset veracity and dataset security. Secondly, we present the algorithms that ensure the ingestion phase (data storage and metadata instanciation). Thirdly, we introduce a developed metadata management system whereby users can easily consult different elements stored in DL.

연구 동기 및 목표

• 원시 데이터가 변환 없이 저장되는 데이터 레이크에서의 데이터 잼입 문제를 해결하며, 신뢰성과 사용 가능성을 확보하기 위해 강력한 메타데이터가 필요하다.
• 데이터 레이크가 '데이터 swamps'(데이터 늪지)로 전락하는 위험을 방지하기 위해 체계적인 메타데이터 관리로 데이터의 가시성, 접근성, 상호운용성 및 재사용성을 확보한다.
• 데이터 원천, 잼입 프로세스, 데이터셋 특성, 신뢰성, 보안 수준을 모두 포괄하는 형식화된 메타데이터 모델을 개발한다.
• 웹 인터페이스를 통해 사용자가 쉽게 탐색하고 재사용할 수 있도록 하는 메타데이터 관리 시스템을 설계 및 구현한다.
• 배치 및 실시간 잼입 모두에서 프로세스 수준의 메타데이터(예: 소스 코드, 실행 로그, 타임스탬프)를 기록함으로써 종단 간 데이터 기원 추적을 보장한다.

제안 방법

• 다섯 가지 핵심 클래스(DatasetSource, Ingest, DatalakeDataset, VeracityIndex, SensitivityMark)를 포함하는 개념적 메타데이터 스키마를 설계하여 잼입 메타데이터를 모델링한다.
• 내부 메타데이터(데이터셋별), 상호 메타데이터(데이터셋 간 관계), 글로벌 메타데이터(공유 사전)를 포함하는 형식화된 메타데이터 모델을 도입한다.
• 잼입 과정 중 메타데이터 피딩을 위한 알고리즘을 개발하여 소스 코드, 실행 세부 정보, 타임스탬프, 로그 및 오류 정보를 캡처한다.
• 사용자가 실재 데이터셋의 메타데이터를 쿼리하고 브라우징하며 시각화할 수 있도록 웹 기반 메타데이터 관리 시스템을 구현한다.
• 구조화된, 반구조화된, 비구조화된 데이터 유형과 배치 및 실시간 잼입 모드를 모두 지원하며 일관된 메타데이터 캡처를 구현한다.
• 보안 및 품질 지표(신뢰성 인덱스)를 메타데이터 모델에 통합하여 액세스 제어 및 데이터 거버넌스를 지원한다.

실험 결과

연구 질문

• RQ1 데이터 레이크에서의 데이터 잼입 전반의 핵심 요소를 포괄적으로 캡처할 수 있는 종합적인 메타데이터 모델을 어떻게 설계할 수 있는가?
• RQ2 잼입 단계에서 데이터 기원 추적, 신뢰성 확보 및 거버넌스를 보장하기 위해 필수적인 메타데이터 카테고리는 무엇인가?
• RQ3 배치 및 실시간 잼입 프로세스 동안 메타데이터를 체계적으로 생성하고 저장하는 방법은 무엇인가?
• RQ4 사용자가 메타데이터를 통해 효율적으로 잼입된 데이터셋을 탐색하고 접근하며 재사용할 수 있도록 하는 메커니즘은 무엇인가?
• RQ5 기존 접근 방식에 비해 제안된 모델이 잼입 프로세스 세부 정보와 데이터 기원 추적을 얼마나 더 잘 포괄하는가?

주요 결과

• 제안된 메타데이터 모델은 통합 프레임워크 내에서 데이터 원천, 잼입 프로세스, 데이터셋 특성, 신뢰성, 보안 수준을 모두 포괄하는 최초의 모델이다.
• 이 시스템은 시작/종료 시간, 지속 시간, 로그, 실행 컨텍스트를 포함한 완전한 메타데이터 캡처를 통해 배치 및 실시간 잼입 모드를 모두 지원한다.
• 신뢰성 및 민감도 메타데이터의 통합은 데이터 거버넌스 및 액세스 제어를 가능하게 하여 신뢰성과 준수성을 향상시킨다.
• 웹 기반 메타데이터 관리 시스템은 직관적인 검색 및 시각화를 통해 사용자가 잼입된 데이터셋을 쉽게 탐색하고 상호운용할 수 있도록 한다.
• 사용자 정의 데이터셋 관계 및 글로벌 메타데이터 사전을 포함한 더 rich한 메타데이터 유형을 지원함으로써, 기존 솔루션인 GOODS 및 MEDAL을 능가한다.
• 소스 코드 URL 및 실행 로그와 같은 프로세스 수준의 메타데이터를 유지함으로써 원천에서 사용에 이르는 완전한 데이터 기원 추적을 가능하게 한다.