[論文レビュー] Data Mesh: a Systematic Gray Literature Review

Abel Goedegebuure, Indika Kumara+5 more|arXiv (Cornell University)|Apr 3, 2023

Data Quality and Management被引用数 7

ひとこと要約

この論文は114件のグレー literatureを体系的にレビューし、データメッシュを定義し、4つの原則を特定し、SOAリファレンスアーキテクチャに成果をマッピングし、研究課題を概説します。

ABSTRACT

Data mesh is an emerging domain-driven decentralized data architecture that aims to minimize or avoid operational bottlenecks associated with centralized, monolithic data architectures in enterprises. The topic has picked the practitioners' interest, and there is considerable gray literature on it. At the same time, we observe a lack of academic attempts at defining and building upon the concept. Hence, in this article, we aim to start from the foundations and characterize the data mesh architecture regarding its design principles, architectural components, capabilities, and organizational roles. We systematically collected, analyzed, and synthesized 114 industrial gray literature articles. The review provides insights into practitioners' perspectives on the four key principles of data mesh: data as a product, domain ownership of data, self-serve data platform, and federated computational governance. Moreover, due to the comparability of data mesh and SOA (service-oriented architecture), we mapped the findings from the gray literature into the reference architectures from the SOA academic literature to create the reference architectures for describing three key dimensions of data mesh: organization of capabilities and roles, development, and runtime. Finally, we discuss open research issues in data mesh, partially based on the findings from the gray literature.

研究の動機と目的

• 実務家文献からデータメッシュとその4つの指針原理を定義する（データを製品として、データのドメイン所有、セルフサービスデータプラットフォーム、連邦的計算ガバナンス）。
• 業界環境におけるデータメッシュの利点、懸念点、組織適用性を特定する。
• グレーリテラチャーの成果をSOAアーキテクチャにマッピングしてデータメッシュのリファレンスアーキテクチャを開発する（組織の能力/役割、開発、実行の構成）。
• データメッシュに関する未解決の研究課題を強調し、学術的調査を guiding する。

提案手法

• GLR（グレーリテラチャーレビュー）ガイドラインを適用して系統性を確保（Garousi ら、Kitchenham/Charters） 。
• 定義されたクエリを用いてGoogle検索で2019–2022の114件のグレーリテラチャーを収集："Data Mesh"および"Decentralized Data Architecture"。
• インクルージョン/エクスクルージョン基準および品質基準を適用；コーエンのκ = 0.79での評定者間信頼性を実施。
• 質的分析のためにAtlas.tiで構造的・記述的コード化を行い、カテゴリとテーマを反復的に開発。
• グレーリテラチャーの成果をSOAリファレンスアーキテクチャへマッピングして3つのデータメッシュリファレンスアーキテクチャを構築。
• 実務家の課題をSOAおよびデータマネジメント文献と結びつけて未解決の研究課題を特定。

Figure 1. Google trends for the word “Data Mesh”.

実験結果

リサーチクエスチョン

• RQ1 RQ1: データメッシュとは何か、なぜ必要か。設計原則の4つ（データを製品として、データのドメイン所有、セルフサービスプラットフォーム、連邦的ガバナンス）に焦点を当てる。
• RQ2 RQ2: データメッシュの採用の利点と懸念点、実装課題は何か。
• RQ3 RQ3: 組織はどのようにデータメッシュを構築すべきか、SOAアーキテクチャへマッピングすることでリファレンスアーキテクチャを確立できるか。
• RQ4 RQ4: 実務家文献に基づくデータメッシュに関する研究課題は何か。

主な発見

• データメッシュは、分析データを大規模に管理するためのドメイン指向の分散アーキテクチャであり、モノリシックなデータスペースをドメイン整合のデータ製品へ分解する。
• データ製品にはデータ、メタデータ、コード、インターフェース、基盤が含まれ、2種類（アトミックと複合）がある。
• 高品質なデータ製品を定義する8つの特性（発見可能、相互運用性、ネイティブアクセス、自己記述、理解可能、セキュア、信頼性、価値）
• 連邦的計算ガバナンスは、全体基準と局所的ドメイン自治をバランスさせ、相互運用性とコンプライアンスを保証する。
• セルフサービスデータプラットフォームとプラットフォームツールは、データ製品の構築と運用をドメインチームに支援する；自動化とガバナンスがスケーラビリティの中心。
• グレーリテラチャーは3つのSOAベースのリファレンスアーキテクチャへマッピングされ、開発と実行の側面で組織設計を支援し、研究課題を浮き彫りにする。

Figure 2. Systematic gray literature review process.