[논문 리뷰] Data Mesh: a Systematic Gray Literature Review

Abel Goedegebuure, Indika Kumara외 5명|arXiv (Cornell University)|2023. 04. 03.

Data Quality and Management인용 수 7

한 줄 요약

이 논문은 114개의 출처에 대한 체계적 회색문헌 검토를 수행하여 데이터 메시(Data Mesh)를 정의하고, 네 가지 원칙을 식별하며, 소스의 발견을 SOA 참조 아키텍처에 매핑하고, 연구 도전과제를 개요화한다.

ABSTRACT

Data mesh is an emerging domain-driven decentralized data architecture that aims to minimize or avoid operational bottlenecks associated with centralized, monolithic data architectures in enterprises. The topic has picked the practitioners' interest, and there is considerable gray literature on it. At the same time, we observe a lack of academic attempts at defining and building upon the concept. Hence, in this article, we aim to start from the foundations and characterize the data mesh architecture regarding its design principles, architectural components, capabilities, and organizational roles. We systematically collected, analyzed, and synthesized 114 industrial gray literature articles. The review provides insights into practitioners' perspectives on the four key principles of data mesh: data as a product, domain ownership of data, self-serve data platform, and federated computational governance. Moreover, due to the comparability of data mesh and SOA (service-oriented architecture), we mapped the findings from the gray literature into the reference architectures from the SOA academic literature to create the reference architectures for describing three key dimensions of data mesh: organization of capabilities and roles, development, and runtime. Finally, we discuss open research issues in data mesh, partially based on the findings from the gray literature.

연구 동기 및 목표

• 실무자 문헌으로부터 데이터 메시와 그것의 네 가지 지도 원칙을 정의한다(데이터를 제품으로, 데이터의 도메인 소유권, 셀프-서비스 데이터 플랫폼, 연합된 계산 거버넌스).
• 데이터 메시를 산업 현장에서의 이점, 우려, 그리고 조직적 적용 가능성을 식별한다.
• 그레이 문헌 발견을 SOA 아키텍처로 매핑하여 데이터 메시지 참조 아키텍처를 개발한다(역량/역할의 조직, 개발, 런타임).
• 데이터 메시에 관한 공개 연구 과제를 강조하여 학계의 연구를 지도한다.

제안 방법

• GLR에 맞게 조정된 회색문헌 검토 지침을 따라 체계성을 확보한다( Garousi 등, 및 Kitchenham/Charters).
• 정의된 질의로 Google 검색을 이용해 114건의 회색문헌 소스(2019–2022) 수집: “Data Mesh”와 “Decentralized Data Architecture”.
• 포함/제외 및 품질 기준 적용; Cohen의 Kappa = 0.79로 평가자 간 신뢰도 수행.
• 정성 분석을 위한 Atlas.ti의 구조적·서술 코딩 적용; 범주와 주제를 반복적으로 개발.
• 회색문헌 발견을 서비스 지향 아키텍처(SOA) 참조 아키텍처로 매핑하여 세 가지 데이터 메시 참조 아키텍처 구성.
• 실무자 도전을 SOA 및 데이터 관리 문헌과 연결함으로써 공개 연구 이슈를 식별.

Figure 1. Google trends for the word “Data Mesh”.

실험 결과

연구 질문

• RQ1 RQ1: 데이터 메시가 무엇이며 왜 필요한지, 네 가지 설계 원칙(데이터를 제품으로, 도메인 소유권, 셀프-서비스 플랫폼, 연합 거버넌스)에 초점.
• RQ2 RQ2: 데이터 메시 채택의 이점과 우려, 구현 과제는?
• RQ3 RQ3: 조직은 어떻게 데이터 메시를 구축해야 하며 SOA 아키텍처에 매핑하여 참조 아키텍처를 확립할 수 있는가?
• RQ4 RQ4: 실무자 문헌을 바탕으로 데이터 메시에 관한 연구 과제는 무엇인가?

주요 결과

• 데이터 메시로는 대규모 분석 데이터를 관리하기 위한 도메인 중심의 분산 아키텍처로, 단일 모놀리식 데이터 공간을 도메인 정렬 데이터 제품으로 분해한다.
• 데이터 제품은 구성요소(데이터, 메타데이터, 코드, 인터페이스, 인프라)와 두 가지 유형(원자/복합)이 있다.
• 데이터 제품을 정의하는 여덟 가지 특성(발견 가능, 상호 운용 가능, 네이티브하게 접근 가능, 자체적으로 설명 가능, 이해 가능, 보안적, 신뢰할 수 있음, 가치 있음).
• 연합된 계산 거버넌스는 전역 표준과 지역 도메인 자치 간의 균형을 이루어 상호 운용성 및 규정 준수를 보장한다.
• 셀프-서비스 데이터 플랫폼과 플랫폼 도구가 도메인 팀이 데이터 제품을 구축하고 운영하는 데 도움을 주며, 자동화와 거버넌스가 확장성의 중심이다.
• 그레이 문헌은 세 가지 SOA 기반 참조 아키텍처에 매핑되어 개발 및 런타임 측면의 조직 설계를 돕고, 연구 과제를 강조한다.

Figure 2. Systematic gray literature review process.