[論文レビュー] Coining goldMEDAL: A New Contribution to Data Lake Generic Metadata Modeling

Étienne Scholly, Pegdwendé N. Sawadogo+6 more|arXiv (Cornell University)|Mar 24, 2021

Data Quality and Management参考文献 18被引用数 12

ひとこと要約

本論文では、データレイクにおける汎用的メタデータモデルであるgoldMEDALを紹介する。このモデルは、データエンティティ、グルーピング、リンク、プロセスの4つのコアコンセプトを通じて、既存のモデルを一般化し、多様なデータレイクアーキテクチャの柔軟なモデリングを可能にする。本モデルは、最先端のモデルを再現することで汎用性を示し、異種のデータ環境における3つの物理的実装を通じて設計の妥当性を検証している。

ABSTRACT

The rise of big data has revolutionized data exploitation practices and led to the emergence of new concepts. Among them, data lakes have emerged as large heterogeneous data repositories that can be analyzed by various methods. An efficient data lake requires a metadata system that addresses the many problems arising when dealing with big data. In consequence, the study of data lake metadata models is currently an active research topic and many proposals have been made in this regard. However, existing metadata models are either tailored for a specific use case or insufficiently generic to manage different types of data lakes, including our previous model MEDAL. In this paper, we generalize MEDAL's concepts in a new metadata model called goldMEDAL. Moreover, we compare goldMEDAL with the most recent state-of-the-art metadata models aiming at genericity and show that we can reproduce these metadata models with goldMEDAL's concepts. As a proof of concept, we also illustrate that goldMEDAL allows the design of various data lakes by presenting three different use cases.

研究の動機と目的

• 既存のデータレイクメタデータモデルにおける汎用性の欠如に取り組む。これらのモデルはしばしば特定のユースケースに特化しており、拡張性に欠ける。
• MEDAL や GEMMS などの先行モデルの限界を克服する。これらは非構造化データ、データラインエージョン、動的メタデータ管理をサポートしない。
• 形式的で再利用可能なメタデータモデリングフレームワークを提供し、構造化および非構造化データレイクの両方を対象とし、完全なラインエージョンと意味的拡張を実現する。
• goldMEDAL を複数の物理的実装に翻訳可能であることを保証し、実世界のデータレイク展開における適応可能性を実証する。
• FAIR原則（検索可能性、アクセス可能性、相互運用性、再利用可能性）を支援する。非技術的ユーザーがインダストリアライゼーションレイヤーを通じてデータレイクを活用できるようにする。

提案手法

• 形式的厳密性と実装準備性を確保するため、概念的、論理的（グラフ理論を用いて）、物理的の3段階モデリングアプローチを採用する。
• 4つのコアコンセプトを定義する：データエンティティ（生データまたは処理済みデータ）、グルーピング（ゾーンやレベルへの論理的組織化）、リンク（意味的または構造的関係）、プロセス（データラインエージョンおよび変換ワークフロー）。
• 曖昧性を排除するための形式的表現を用い、可読性とアクセス性を高めるためにUML図を併用する。
• goldMEDALの概念を3つの異なる物理的モデルに変換する：Hadoopベースのシステム向けにApache Atlasを採用し、意味的拡張のためのグラフベースのモデル、軽量統合のためのJSONベースのモデル。
• 最先端のモデル（例：GEMMS、Ground、HANDLE、Ravat & Zhao）の主要機能をgoldMEDALのコアコンセプトを用いてマッピング・再現することで、汎用性を実証する。
• Thesaurus（同義語、対義語など）とリンクベースのメタデータを統合し、意味的相互運用性と動的データ発見を支援する。

実験結果

リサーチクエスチョン

• RQ1 形式的厳密性と異種のデータレイクアーキテクチャに広く適用可能なメタデータモデルを設計できるか？
• RQ2 データ単位、ラインエージョン、メタデータタイプといったコアコンセプトにおいて、goldMEDALは既存のメタデータモデルをどの程度一般化できるか？
• RQ3 メタデータモデルは、非構造的または準構造的データ環境において、完全なデータラインエージョンとプロセス追跡をどのようにサポートできるか？
• RQ4 goldMEDALは、Apache Atlas やグラフベースのリポジトリなどの実世界の物理的メタデータシステムに効果的にマッピングされ、実装可能か？
• RQ5 メタデータモデリングは、非技術的ユーザーがデータレイクにアクセスし分析できるようにするために、どのような役割を果たせるか？特にFAIR原則を支援する点で。

主な発見

• goldMEDALは、GEMMS、Ground、HANDLE、Ravat & Zhao などの既存モデルを、4つの基礎的抽象化を通じて成功裏に一般化した。
• プロセスコンセプトを用いたネイティブなデータラインエージョンサポートにより、HANDLE など最近のモデルが欠落している機能を補完し、動的データ管理における重要な前進を実現した。
• Apache Atlas、グラフベースのモデル、JSONベースのモデルの3つの異なる物理的実装は、goldMEDALの多様性を、異なる技術スタックとデータタイプにわたって実証している。
• Thesaurus と意味的リンク（例：同義語、関連語）の統合により、異種のデータレイクにおける高度なメタデータ発見と相互運用性が可能になった。
• goldMEDALの形式的かつモジュール化された設計により、実世界のメタデータシステムへの体系的マッピングが可能となり、再利用性と保守性が向上した。
• 意味的拡張とユーザーフrndリエンドのメタデータアクセスレイヤーを通じて、検索可能性、アクセス可能性、再利用可能性を実現し、FAIR原則を支援する。