[論文レビュー] Data Validation for Big Live Data

Malcolm Crowe, Carolyn E. Begg+2 more|arXiv (Cornell University)|Oct 5, 2021

Cloud Computing and Resource Management被引用数 3

ひとこと要約

本稿では、大規模なライブデータ向けバーチャルデータウェアハウスにおいて、データのタイムリネスを保証するとともにネットワークトラフィックを削減するためのreadCheckバリデータメカニズムを提案する。REST ETagに類する行バージョン検証を拡張することで、分散・異種のデータソース間で完全なACID特性を備えたオピニオンコンカURRENCY制御を実現し、リクエスタ側にデータを物性化することなく、最新かつ検証可能なクエリ結果を保証する。

ABSTRACT

Data Integration of heterogeneous data sources relies either on periodically transferring large amounts of data to a physical Data Warehouse or retrieving data from the sources on request only. The latter results in the creation of what is referred to as a virtual Data Warehouse, which is preferable when the use of the latest data is paramount. However, the downside is that it adds network traffic and suffers from performance degradation when the amount of data is high. In this paper, we propose the use of a readCheck validator to ensure the timeliness of the queried data and reduced data traffic. It is further shown that the readCheck allows transactions to update data in the data sources obeying full Atomicity, Consistency, Isolation, and Durability (ACID) properties.

研究の動機と目的

• データが分散・異種のソースに残ったままのバーチャルデータウェアハウスにおいて、最新で一貫性があり検証可能なデータを維持する課題に対処すること。
• リアルタイム統合シナリオにおいて、ライブデータソースの頻繁なポーリングが引き起こすネットワークトラフィックおよびパフォーマンス劣化を軽減すること。
• グローバルビュー全体にわたってデータの正しさと一貫性を保証しつつ、分散型でACID準拠の更新を可能にすること。
• データ整合性とタイムリネスが重要な規制およびエンタープライズ環境におけるデータキュレーションおよびプロバンス追跡を支援すること。
• データレプリケーションを必要とせず、異なるデータモデルおよび所有権境界を越えて動作する軽量で相互運用性のある検証メカニズムを提供すること。

提案手法

• readCheckメカニズムは、RFC 7232 ETagを拡張し、各行のトランザクションログ位置とデータソーステーブルを追跡する行バージョン識別子（RVV）を含める。
• 各クエリ結果行には、ソーステーブル、ログ位置、トランザクションIDを示すRVV文字列（例：'Statistics:578:474'）が付加され、変更検出が可能になる。
• リクエスタはRVVを用いて、以前に取得した結果がまだ有効かどうかを検証する。変更がなければ結果を再利用し、冗長なクエリを回避する。
• システムは、下位のデータソースに対するPUT/POST/DELETE操作を通じて、更新可能なRESTビューをサポートし、ACID準拠の分散データキュレーションを可能にする。
• Pyrrhoデータベースプロトタイプは、自動的にRESTビューを生成し、結合されたビューにわたるRVVおよびETagの伝搬を管理することで、メカニズムを実装している。
• 本アプローチでは、個々のビュー（Vi）からグローバルビュー（V）への変換時にデータの競合が発生しないものと仮定しており、将来の作業としてメタデータを用いたスキーママッピングの自動化を計画している。

実験結果

リサーチクエスチョン

• RQ1 リクエスタ側にデータを物性化せずに、バーチャルデータウェアハウスにおけるデータのタイムリネスをどのように検証できるか。
• RQ2 ライブデータ統合において、冗長なデータ転送を低減するための効率的で低コストのクエリ結果検証メカニズムは何か。
• RQ3 行バージョン検証システムは、分散・異種のデータソース間で完全なACID特性を備えたオピニオンコンカURRENCY制御をサポートできるか。
• RQ4 複数の独立的かつ所有権を持つデータソースからライブデータを統合する際、どのようにしてデータのプロバンスと正しさを維持できるか。
• RQ5 RESTベースでETagに類するメカニズムを、複雑な結合ビューおよび分散データ更新をサポートするようにどの程度拡張できるか。

主な発見

• readCheckメカニズムは、行バージョン識別子（RVV）を用いたクエリ結果の検証を成功裏に実現し、リクエスタが再クエリを行わずに結果がまだ有効かどうかを判断できる。
• RVVが変更されない限りキャッシュされた結果を再利用することで、ライブデータシナリオにおけるネットワークトラフィックとクエリ遅延が顕著に削減される。
• Pyrrhoを用いたプロトタイプ実装により、更新可能なRESTビューが自動生成され、下位データソースに対してPUT、POST、DELETE操作が可能であることが示された。
• RVVにトランザクションログ位置を用いることで、コンフリクト検出と一貫性の確保が可能となり、分散更新において完全なACID特性が維持される。
• メカニズムは相互運用性がある：リクエスタはRVV文字列の検証のみを必要とし、ソースデータの内部構造や検証ロジックの詳細を理解する必要がない。
• 本アプローチは、各結果行にそのソースおよびトランザクション状態に関するメタデータを保持するため、データキュレーションおよびプロバンスの透明性を支援し、監査可能で信頼性のある仕組みを実現する。