[논문 리뷰] Data lake concept and systems: a survey.

Rihan Hai, Christoph Quix외 1명|arXiv (Cornell University)|2021. 06. 17.

Data Quality and Management참고 문헌 107인용 수 21

한 줄 요약

이 종합적 서베이는 전통적인 '스키마 온 라이트' 아키텍처에서 다양한 대용량 데이터를 관리하는 데 도전 과제가 존재함을 고려하여 데이터 레이크 개념과 시스템에 대한 포괄적인 분석을 제안한다. 이 서베이는 기능에 따라 기존 데이터 레이크 시스템을 분류하고 아키텍처적 통찰을 제공하며, 향후 데이터 레이크 설계 및 구현 분야의 발전을 이끌기 위해 열려 있는 연구 과제를 규명한다.

ABSTRACT

Although big data has been discussed for some years, it still has many research challenges, especially the variety of data. It poses a huge difficulty to efficiently integrate, access, and query the large volume of diverse data in information silos with the traditional 'schema-on-write' approaches such as data warehouses. Data lakes have been proposed as a solution to this problem. They are repositories storing raw data in its original formats and providing a common access interface. This survey reviews the development, definition, and architectures of data lakes. We provide a comprehensive overview of research questions for designing and building data lakes. We classify the existing data lake systems based on their provided functions, which makes this survey a useful technical reference for designing, implementing and applying data lakes. We hope that the thorough comparison of existing solutions and the discussion of open research challenges in this survey would motivate the future development of data lake research and practice.

연구 동기 및 목표

• 대용량 데이터의 다양성을 처리하는 데 있어 전통적인 데이터 웨어하우스의 한계를 해결하기 위해.
• 원시의 다양한 데이터를 원본 형식 그대로 저장할 수 있는 데이터 레이크 패러다임을 탐색하기 위해.
• 기능적 능력에 기반하여 기존 데이터 레이크 시스템을 체계적으로 분류하기 위해.
• 데이터 레이크 설계, 구현 및 구축 분야의 핵심 연구 과제를 규명하기 위해.
• 연구자 및 실무자가 데이터 레이크 시스템을 구축하고 적용하는 데 기술적 참고자료로 활용하기 위해.

제안 방법

• 이 논문은 데이터 레이크 개발, 정의 및 시스템 아키텍처에 대한 종합적 서베이를 수행한다.
• 기능적 기능에 따라 데이터 레이크 시스템을 분류하여 체계적인 비교를 가능하게 한다.
• 데이터 레이크 개념의 진화와 그 기술적 기반을 분석한다.
• 데이터 수집, 저장, 쿼리 처리 및 메타데이터 관리 등의 기준을 사용하여 데이터 레이크 시스템을 평가한다.
• 기존 문헌의 연구 결과를 통합하여 아키텍처 패턴과 설계의 상충 관계를 부각시킨다.
• 향후 데이터 레이크 기술 분야의 혁신을 이끌기 위해 열려 있는 연구 과제를 논의한다.

실험 결과

연구 질문

• RQ1 데이터 레이크는 데이터의 다양성과 양을 다루는 데 있어 전통적인 데이터 웨어하우스와 어떻게 다릅니까?
• RQ2 현대 데이터 레이크 시스템의 핵심 아키텍처 구성 요소와 설계 원칙은 무엇입니까?
• RQ3 기존 데이터 레이크 시스템은 메타데이터와 데이터 라인리지(데이터 기원 추적)를 어떻게 분류하고 관리합니까?
• RQ4 현재의 데이터 레이크 플랫폼의 핵심 기능적 능력과 제약은 무엇입니까?
• RQ5 데이터 레이크 설계 및 구현 분야에서 아직 남아 있는 주요 연구 과제는 무엇입니까?

주요 결과

• 데이터 레이크는 원본 형식 그대로의 원시 데이터에 대한 통합 액세스 인터페이스를 제공하여 '스키마 온 라이트' 접근 방식의 경직됨을 극복한다.
• 이 서베이는 기능적 특징에 따라 데이터 레이크 시스템을 분류하여 시스템 설계에 유용한 기술적 참고자료를 제공한다.
• 데이터 레이크는 이질적인 데이터 소스와 형식 간에 탄력적인 데이터 통합 및 쿼리 처리를 지원한다.
• 이 서베이는 데이터 레이크 내에서 데이터 품질, 보안 및 성능 최적화 분야에 심각한 연구 격차가 있음을 규명한다.
• 기존 시스템은 메타데이터 관리, 데이터 라인리지 및 거래 일관성 지원에서 괴리가 심하게 존재한다.
• 논문은 데이터 레이크 연구 및 실무 발전을 위해 표준화된 평가 프레임워크와 향상된 도구의 필요성을 강조한다.