[논문 리뷰] Towards Avoiding the Data Mess: Industry Insights from Data Mesh Implementations

Jan Bode, Niklas Kühl외 3명|arXiv (Cornell University)|2023. 02. 03.

Data Quality and Management인용 수 7

한 줄 요약

이 논문은 산업 전문가 15명의 인터뷰를 통해 데이터 메시 전환에 대한 경험적 통찰을 제시하며, 연합 거버넌스와 조직적 저항과 같은 핵심 과제를 규명하고, 교차 도메인 주도 단위와 소규모 전담 팀과 같은 여섯 가지 구현 전략을 제안한다. 또한 스타트업/스케일업 및 기성 기업이라는 두 가지 조직 유형의 아키텍처를 제시하여 실무적 구현을 안내한다. 연구는 데이터 품질 향상, 접근성 향상, 신뢰도 향상 등의 초기 효과를 확인하였으며, 기업이 데이터 메시로 전환하는 데 실질적이고 이론에 기반한 지침을 제공한다.

ABSTRACT

With the increasing importance of data and artificial intelligence, organizations strive to become more data-driven. However, current data architectures are not necessarily designed to keep up with the scale and scope of data and analytics use cases. In fact, existing architectures often fail to deliver the promised value associated with them. Data mesh is a socio-technical, decentralized, distributed concept for enterprise data management. As the concept of data mesh is still novel, it lacks empirical insights from the field. Specifically, an understanding of the motivational factors for introducing data mesh, the associated challenges, implementation strategies, its business impact, and potential archetypes is missing. To address this gap, we conduct 15 semi-structured interviews with industry experts. Our results show, among other insights, that organizations have difficulties with the transition toward federated governance associated with the data mesh concept, the shift of responsibility for the development, provision, and maintenance of data products, and the comprehension of the overall concept. In our work, we derive multiple implementation strategies and suggest organizations introduce a cross-domain steering unit, observe the data product usage, create quick wins in the early phases, and favor small dedicated teams that prioritize data products. While we acknowledge that organizations need to apply implementation strategies according to their individual needs, we also deduct two archetypes that provide suggestions in more detail. Our findings synthesize insights from industry experts and provide researchers and professionals with preliminary guidelines for the successful adoption of data mesh.

연구 동기 및 목표

• 다양한 산업 분야에서 실무적 동기, 과제, 영향을 탐색함으로써 데이터 메시 전환에 대한 경험적 연구 부족을 보완하기 위해.
• 특히 탈중앙화된 거버넌스와 데이터 제품 소유권을 고려할 때 성공적인 데이터 메시 전환을 지원하는 구현 전략을 규명하고 검증하기 위해.
• 조직의 성숙도에 따라 맞춤형 지침을 제공할 수 있도록 스타트업/스케일업(A1)과 기성 기업(A2)이라는 두 가지 조직 유형의 아키텍처를 개발하기 위해.
• 연구자와 실무자에게 사회기술적 요소에 초점을 맞춘, 이론에 기반한 실질적인 지침을 제공함으로써 기술 아키텍처보다는 사회기술적 차원에 중점을 두기 위해.

제안 방법

• 다양한 분야의 산업 전문가 15명을 대상으로 반구조화된 인터뷰를 수행하여 데이터 메시 구현에 대한 정성적 통찰을 확보하였다.
• 인터뷰 녹취록에서 반복되는 과제, 동기, 구현 전략, 비즈니스 영향을 식별하기 위해 주제 분석을 적용하였다.
• 식별된 과제를 바탕으로 여섯 가지 구현 전략(IS1–IS6)을 도출하였다. 예를 들어 교차 도메인 주도 단위 도입 및 소규모 전담 팀 중심의 접근을 포함한다.
• 다른 전환 환경과 요구사항을 반영하기 위해 스타트업 및 스피드업(A1)과 기성 기업(A2)이라는 두 가지 조직 유형의 아키텍처를 제안하였다.
• 특히 Dehghani(2022)의 데이터 메시 원칙을 포함한 기존 이론적 프레임워크와의 일치성을 검증하여 개념적 일致성을 확보하였다.
• 기술적 아키텍처에 대한 세부 사항은 배제하고 사회기술적 요소에 집중하였으며, 아키텍처 관련 세부 정보는 외부 기술 가이드를 참조하였다.

실험 결과

연구 질문

• RQ1 조직이 데이터 메시를 도입하는 데 주로 어떤 동기 요인이 작용하는가?
• RQ2 특히 거버넌스와 조직 변화 측면에서 데이터 메시 구현 과정에서 조직이 겪는 가장 심각한 과제는 무엇인가?
• RQ3 다양한 조직적 맥락에서 성공적인 데이터 메시 전환을 가능하게 하는 데 가장 효과적인 구현 전략은 무엇인가?
• RQ4 데이터 메시 전환의 초기 단계에서 나타나는 실질적인 비즈니스 영향은 무엇인가?
• RQ5 데이터 메시 전환 과정에서 나타나는 조직 유형은 무엇이며, 이러한 유형은 어떻게 맞춤형 구현 접근법을 안내하는가?

주요 결과

• 조직은 연합 거버넌스로의 전환, 데이터 소유권 책임 이행, 데이터 메시 개념의 전반적 범위 이해에 있어 심각한 과제를 겪고 있다.
• 교차 도메인 주도 단위(IS1)는 탈중앙화된 노력을 조율하고 전략적 일관성을 확보하는 데 핵심적인 역할을 한다.
• 데이터 제품 사용 사례 관찰(IS2)은 개발 우선순위 설정, 품질 향상, 도메인 간 동기 유지에 도움이 된다.
• 사전 구현 평가를 통한 의도적인 전환(IS4)은 허황된 결정을 피하고 조직의 준비 상태를 확보하기 위해 필수적이다.
• 소규모 전담 팀(IS5)은 자원 제약 상황에서 대규모 중심 팀보다 데이터 제품 개발에 더 효과적이다.
• 초기 영향으로는 데이터 접근성 향상(I1), 분석 속도 향상(I2), 데이터 품질 향상(I3), 중복 감소(I4), 조직 신뢰도 향상 및 데이터 기반 의사결정 증가(I5–I8)가 관찰된다.