[論文レビュー] Dataspace architecture and manage its components class projection

Nataliya Shakhovska, Yurii Bolubash|arXiv (Cornell University)|May 3, 2019

Advanced Database Systems and Queries参考文献 8被引用数 4

ひとこと要約

本論文は、クラスプロジェクションとブロックベクトル表現を用いて、スキーマに依存しない柔軟な統合を可能にするデータスペースアーキテクチャを提案する。これにより、事前semantische統合作業の負荷が軽減される。本アーキテクチャは、SQL Server Integration Services (SSIS) および MVC パターンを用いて実装されており、Backus-Naur Form で定義されたクエリトランスレータを備え、剛性のあるスキーマ整合化を必要としないスケーラブルなデータ統合手法を示している。

ABSTRACT

Big Data technology is described. Big data is a popular term used to describe the exponential growth and availability of data, both structured and unstructured. There is constructed dataspace architecture. Dataspace has focused solely - and passionately - on providing unparalleled expertise in business intelligence and data warehousing strategy and implementation. Dataspaces are an abstraction in data management that aims to overcome some of the problems encountered in data integration system. In our case it is block vector for heterogeneous data representation. Traditionally, data integration and data exchange systems have aimed to offer many of the purported services of dataspace systems. Dataspaces can be viewed as a next step in the evolution of data integration architectures, but are distinct from current data integration systems in the following way. Data integration systems require semantic integration before any services can be provided. Hence, although there is not a single schema to which all the data conforms and the data resides in a multitude of host systems, the data integration system knows the precise relationships between the terms used in each schema. As a result, significant up-front effort is required in order to set up a data integration system. For realization of data integration from different sources we used SQL Server Integration Services, SSIS. For developing the portal as an architectural pattern there is used pattern Model-View-Controller (MVC). There is specifics debug operation data space as a complex system. The query translator in Backus/Naur Form is give.

研究の動機と目的

• 従来のデータ統合システムにおける高い事前semantische統合コストを解消すること。
• 統一されたスキーマを必要とせず、異種のデータソースを柔軟かつ動的統合すること。
• 複雑なデータ操作およびクエリ翻訳をサポートするデータスペースアーキテクチャの設計。
• 実用的なデータ管理およびポータル開発のため、SSIS および MVC を用いたプロトタイプの実装。
• データスペース全体で標準化されたクエリ処理を可能にする、Backus-Naur Form (BNF) によるクエリトランスレータの定義。

提案手法

• 異種のデータを抽象化するため、クラスプロジェクションおよびブロックベクトル表現を用いたデータスペースアーキテクチャの設計。
• 多様なデータソースからの ETL プロセスおよびデータ統合を可能にするために、SQL Server Integration Services (SSIS) の使用。
• データアクセスのためのモジュラで保守性の高いポータルを開発するため、Model-View-Controller (MVC) アーキテクチャパターンの適用。
• データスペース全体でクエリを標準化および処理できるようにするため、Backus-Naur Form (BNF) を用いたクエリトランスレータの定義。
• 事前定義されたスキーママッピングを必要とせずに、動的データアクセスを可能にするデータスペースの構造設計。
• 実用的応用を確保するため、ビジネスインテリジェンスおよびデータウェアハウスユースケースに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 データ統合システムにおいて、どのような方法でデータスペースアーキテクチャが事前semantische統合の必要性を低減できるか？
• RQ2 統一されたスキーマが存在しない状況で、異種のデータソースを管理するために不可欠なアーキテクチャ的要素は何か？
• RQ3 クラスプロジェクションおよびブロックベクトルは、どのように多様なデータ型を統一された抽象化として効果的に表現できるか？
• RQ4 MVC パターンは、データ管理ポータルの開発および保守性をどのように向上させるか？
• RQ5 Backus-Naur Form で定義されたクエリトランスレータは、分散型データスペース全体で標準化されたクエリ処理をどのように実現するか？

主な発見

• 提案されたデータスペースアーキテクチャは、データ統合とスキーマ整合化を分離することで、初期設定の複雑さを著しく軽減した。
• クラスプロジェクションおよびブロックベクトル表現により、共通のスキーマを必要とせずに、異種のデータの有効なモデル化が可能となった。
• SSIS の使用により、異なるデータソース間での信頼性の高い ETL 操作およびデータ移動が実現された。
• MVC ベースのポータル実装により、データアクセスおよび管理のためのスケーラブルで保守性の高いインターフェースが提供された。
• BNF で定義されたクエリトランスレータにより、データスペース全体で一貫性があり形式化されたクエリ処理が可能になった。
• 本手法は、複雑で異種の環境において、ビジネスインテリジェンスおよびデータウェアハウスワークロードに実用的であることが示された。