[論文レビュー] Data Lake Ingestion Management

Yan Zhao, Imen Megdiche+1 more|arXiv (Cornell University)|Jul 5, 2021

Data Quality and Management参考文献 12被引用数 6

ひとこと要約

本論文は、データレイクにおけるデータソース、インジェストプロセス、データセット品質のエンドツーエンド追跡に焦点を当て、包括的なメタデータモデルおよび関連するインジェストアルゴリズムを提案する。メタデータ管理システムにより、構造化、準構造化、非構造化形式の両方のデータに対して、バッチおよびリアルタイムモードで、データの検索可能性、アクセス可能性、およびラインエージェンスを向上させ、インジェストされたデータの効率的発見、再利用、ガバナンスを可能にする。

ABSTRACT

Data Lake (DL) is a Big Data analysis solution which ingests raw data in their native format and allows users to process these data upon usage. Data ingestion is not a simple copy and paste of data, it is a complicated and important phase to ensure that ingested data are findable, accessible, interoperable and reusable at all times. Our solution is threefold. Firstly, we propose a metadata model that includes information about external data sources, data ingestion processes, ingested data, dataset veracity and dataset security. Secondly, we present the algorithms that ensure the ingestion phase (data storage and metadata instanciation). Thirdly, we introduce a developed metadata management system whereby users can easily consult different elements stored in DL.

研究の動機と目的

• データレイクにおけるデータインジェストの重要な課題に取り組む。ここでは、変換なしに保存される生データが信頼性と利用可能性を確保するための強固なメタデータを必要とする。
• データレイクが「データ swamps（泥沼）」と化すリスクを回避する。メタデータ管理の体系的アプローチにより、データが検索可能で、アクセス可能で、相互運用可能で、再利用可能であることを保証する。
• データソース、インジェストプロセス、データセットの特徴、真正性、セキュリティレベルを包括的に捉える形式化されたメタデータモデルを構築する。
• ユーザーが直感的なウェブインターフェースを通じて、インジェストされたデータセットを効率的に発見・再利用できるメタデータ管理システムを設計・実装する。
• バッチおよびリアルタイムインジェストの両方において、プロセスレベルのメタデータ（ソースコード、実行ログ、タイムスタンプなど）を記録することで、エンドツーエンドのデータラインエージェンスを確保する。

提案手法

• 5つのコアクラス（DatasetSource、Ingest、DatalakeDataset、VeracityIndex、SensitivityMark）を有する概念的メタデータスキーマを設計し、インジェストメタデータをモデル化する。
• インtraメタデータ（データセット固有）、interメタデータ（データセット間の関係）、グローバルメタデータ（共有辞書）を含む形式化されたメタデータモデルを導入する。
• インジェスト中にメタデータを供給するためのアルゴリズムを開発。ソースコード、実行詳細、タイムスタンプ、ログ、エラー情報などを収集する。
• ウェブベースのメタデータ管理システムを実装し、ユーザーが実データセットのメタデータを照会・ブラウズ・可視化できるようにする。
• 構造化、準構造化、非構造化の複数のデータタイプおよびバッチ・リアルタイムのインジェストモードを一貫したメタデータ収集でサポートする。
• セキュリティおよび品質メトリクス（真正性インデックス）をメタデータモデルに統合し、アクセス制御およびデータガバナンスを支援する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、データレイクにおけるインジェストのすべての重要な側面を包括的に捉えるメタデータモデルを設計できるか？
• RQ2 インジェスト段階におけるデータラインエージェンス、信頼性、ガバナンスを確保するために、どのようなメタデータカテゴリが不可欠か？
• RQ3 バッチおよびリアルタイムインジェストプロセスの両方で、メタデータを体系的に生成・保存するにはどうすればよいか？
• RQ4 ユーザーがメタデータを通じて効率的にインジェストされたデータセットを発見・アクセス・再利用できる仕組みは何か？
• RQ5 提案モデルは、既存の手法に比べて、インジェストプロセスの詳細およびデータプロバンスをどのように優れているか？

主な発見

• 提案されたメタデータモデルは、統一されたフレームワーク内で、データソース、インジェストプロセス、データセット特性、真正性、セキュリティを包括的にカバーする最初のモデルである。
• システムは、開始/終了時刻、実行時間、ログ、実行コンテキストを含む、完全なメタデータ収集を伴うバッチおよびリアルタイムインジェストモードをサポートする。
• 真正性および機微性メタデータの統合により、データガバナンスおよびアクセス制御が可能になり、信頼性とコンプライアンスが向上する。
• ウェブベースのメタデータ管理システムにより、ユーザーは直感的な検索および可視化機能を通じて、インジェストされたデータセットを簡単に探索・相互運用可能になる。
• GOODS や MEDAL といった既存のソリューションに比べ、ユーザー定義のデータセット関係やグローバルメタデータ辞書を含む、より豊富なメタデータタイプをサポートすることで、本モデルは優れている。
• ソースコードのURL や実行ログなどのプロセスレベルメタデータを保持することで、エンドツーエンドの完全なデータラインエージェンスが実現され、再現性が保証される。