[論文レビュー] Towards Polyglot Data Stores -- Overview and Open Research Questions

Daniel Glake, Felix Kiehn+3 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Database Systems and Queries被引用数 4

ひとこと要約

本論文は、一元的なデータベースシステムが多様でしばしば矛盾するトランザクショナルおよび分析的ワークロードを処理する際の制限を克服するためのポリグロットデータストアを検討する。アプリケーション要件を最適なデータストアトポロジにマッピングする宣言的で適応可能なメディエータの提案を通じて、長期的なシステムのレジliエンスおよびパフォーマンス向上の鍵としての適応性の重要性を強調する。

ABSTRACT

Nowadays, data-intensive applications face the problem of handling heterogeneous data with sometimes mutually exclusive use cases and soft non-functional goals such as consistency and availability. Since no single platform copes everything, various stores (RDBMS, NewSQL, NoSQL) for different workloads and use-cases have been developed. However, since each store is only a specialization, this motivates progress in polyglot data management emerged new systems called Mult- and Polystores. They are trying to access different stores transparently and combine their capabilities to achieve one or multiple given use-cases. This paper describes representative real-world use cases for data-intensive applications (OLTP and OLAP). It derives a set of requirements for polyglot data stores. Subsequently, we discuss the properties of selected Multi- and Polystores and evaluate them based on given needs illustrated by three common application use cases. We classify them into functional features, query processing technique, architecture and adaptivity and reveal a lack of capabilities, especially in changing conditions tightly integration. Finally, we outline the benefits and drawbacks of the surveyed systems and propose future research directions and current challenges in this area.

研究の動機と目的

• 一貫性、可用性、パフォーマンスといった、矛盾する非機能的特性を要する現代のアプリケーションにおける異種データワークロードの管理課題に対処すること。
• 現在のポリグロットおよびマルチストアシステムの限界、特にランタイムでの適応性および動的トポロジ管理の欠如を特定すること。
• アプリケーションが機能的および非機能的要件（例：一貫性レベル、遅延制約）を明示できる宣言的でアプリケーションレベルのスキーマ指定モデルを提案すること。
• これらのアノテーションに基づき、適切なデータストアにデータを選択的かつルーティングするスマートで自動化されたメディエータの設計を行い、最適なシステムトポロジを実現すること。
• ランタイムでの監視とトポロジ再構成を通じて、アプリケーションおよびデータ要件の変化に自律的に適応できる仕組みを実現すること。

提案手法

• 実世界のユースケース（eコマース（OLTP）、分析（OLAP）、ハイブリッドOLTP/OLAP）を定義し、データ管理に向けた代表的な要件を導出する。
• ポリグロットデータストアが対応すべき機能的および非機能的特徴（例：一貫性レベル、クエリインタフェース、スキーマの柔軟性）のフレームワークを確立する。
• アーキテクチャ、クエリ処理、適応性の観点から、既存のポリグロットおよびマルチストアシステム（例：BigDAWG、Polypheny-DB）を調査・比較する。
• アプリケーションが機能的および非機能的要件（例：「読み込みは自身の書き込みを確認できる」、「低遅延の書き込み」）を指定できる宣言的スキーマアノテーションモデルを提案する。
• 各データストアの能力とアノテーションされた要件に基づき、スキーマ要素を適切なデータストアにマッピングするスマートなランク付けおよびルーティングアルゴリズムを設計する。
• ランタイムでの監視とフィードバックメカニズムを統合し、パフォーマンスや可用性の変化に応じてデータストアトポロジおよびルーティングポリシーを動的に再構成するトリガーを実現する。

実験結果

リサーチクエスチョン

• RQ1 初期のアプリケーション要件を、異種データストアの最適な初期トポロジにどのようにマッピングできるか？
• RQ2 要件やデータワークロードの変化に伴い、スキーマ要素とデータストアとの間の動的マッピングをどのように維持できるか？
• RQ3 パフォーマンス、一貫性、可用性の観点から、データ移行やストアの追加／削除を伴うトポロジ適応をいつ、どのような条件下でトリガーすべきか？
• RQ4 クエリ処理中に個々のデータストアが有する独自の能力（例：特化したインデックス、一貫性モデル）を完全に活用しつつ、意味的完全性を保つにはどうすればよいか？
• RQ5 ポリグロットシステムをどのように監視することで、その下位のデータストア構成に関する自律的かつ自己適応的な意思決定を可能にできるか？

主な発見

• 現在のポリグロットおよびマルチストアシステムは、変化するワークロードや要件に応じて反応できない静的構成に依存しており、顕著な適応性の欠如を示している。
• 多数の調査対象システムは、固定された統合パターンのため、個々のデータストアが有する特化したインデックスや一貫性モデルといった独自の能力を十分に活用できていない。
• ランタイムでの監視およびフィードバックループの欠如により、システムはパフォーマンスや可用性の変化に応じて自律的にトポロジを再構成できない。
• 本論文は、適応性を今後のポリグロットデータストアの中心的課題および主要なイネーブラとして特定し、動的再構成のオーバーヘッドを上回るパフォーマンス向上の可能性を示している。
• 宣言的でアノテーションベースのスキーマ指定アプローチにより、機能的および非機能的要件を正確に表現でき、自動化されたトポロジ選択の基盤が構築できる。
• 提案されたメディエータフレームワークは、アプリケーションレベルのSLAと低レベルのデータストア機能の間のギャップを、インテリジェントで自動化されたマッピングとルーティングによって埋めるものである。