[論文レビュー] Evolutionary Data Systems

Stratos Idreos, Lukas M. Maas+1 more|arXiv (Cornell University)|Jun 18, 2017

Advanced Database Systems and Queries参考文献 33被引用数 5

ひとこと要約

本論文は、変化するワークロードに応じてストレージおよびアクセス方法を自律的に進化させる、新しいデータベースアーキテクチャ「エボリューション型データシステム」を紹介する。キーバリュー型やカラムストア型といった複数の競合するアーキテクチャ（例：key-value と column-store）に対して、選択や突然変異といった進化的原則を適用することで、人為的介入なしに最適な構成を動的に選択する。これにより、進化するデータ駆動型アプリケーション向けに、自動的で適応的なチューニングが可能になる。

ABSTRACT

Anyone in need of a data system today is confronted with numerous complex options in terms of system architectures, such as traditional relational databases, NoSQL and NewSQL solutions as well as several sub-categories like column-stores, row-stores etc. This overwhelming array of choices makes bootstrapping data-driven applications difficult and time consuming, requiring expertise often not accessible due to cost issues (e.g., to scientific labs or small businesses). In this paper, we present the vision of evolutionary data systems that free systems architects and application designers from the complex, cumbersome and expensive process of designing and tuning specialized data system architectures that fit only a single, static application scenario. Setting up an evolutionary system is as simple as identifying the data. As new data and queries come in, the system automatically evolves so that its architecture matches the properties of the incoming workload at all times. Inspired by the theory of evolution, at any given point in time, an evolutionary system may employ multiple competing solutions down at the low level of database architectures -- characterized as combinations of data layouts, access methods and execution strategies. Over time, "the fittest wins" and becomes the dominant architecture until the environment (workload) changes. In our initial prototype, we demonstrate solutions that can seamlessly evolve (back and forth) between a key-value store and a column-store architecture in order to adapt to changing workloads.

研究の動機と目的

• 多様で進化するデータ駆動型アプリケーション向けに、静的データベースアーキテクチャの選定とチューニングの複雑さとコストを低減すること。
• 変化するワークロードやアプリケーション要件に適応できない、モノリス的で万能なシステムの限界を克服すること。
• 科学研究所や中小企業のようなリソース制約のある環境でも、専門的知識がなくても最適化されたデータシステムを導入できるようにすること。
• 静的データベース設計から、ワークロードの動的特性に基づく継続的かつ自動的なアーキテクチャ進化へのパラダイム転換を実現すること。
• 自動的で進化的なチューニングが、固定されたアーキテクチャを上回り、ストレージレイアウト、アクセス方法、実行戦略の最適な組み合わせを動的に選択できることを実証すること。

提案手法

• 自然選択を模倣した進化的フレームワークを採用し、低レベルで複数の競合するデータベースアーキテクチャが共存する。
• 各アーキテクチャバージョンの性能（例：クエリ遅延、スループット）を測定するために、フィットネス評価を実施する。
• 突然変異と選択のメカニズムを適用し、ストレージレイアウト、アクセス方法、実行戦略の新しい組み合わせを継続的に生成・テストする。
• リアルタイムのワークロードフィードバックに基づき、キーバリュー型ストアやカラムストア型といったコアアーキテクチャ間をシームレスに切り替える。
• アプリケーションレベルの変更や手動チューニングなしに、実行時における自動的で動的なアーキテクチャの進化を実現する。
• ストレージおよびアクセスパターンの実行時再構成を可能にすることで、既存システムとの統合を図り、ダウンタイムやデータ移動を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 人為的介入なしに、変化するワークロードに応じてデータベースシステムが内部アーキテクチャを自律的に進化させることができるか？
• RQ2 進化的原則をストレージレイアウトやアクセス方法といったデータベースシステム部品に適用することで、適応性を向上させることは可能か？
• RQ3 根本的に異なるデータベースアーキテクチャ（例：キーバリュー型 vs. カラムストア型）間を、シームレスで低コストで切り替えるメカニズムは何か？
• RQ4 進化的チューニングは、動的かつ現実世界のワークロードにおいて、静的で手動最適化されたデータベースアーキテクチャをどの程度上回ることができるか？
• RQ5 ライブクエリを処理しながら、アーキテクチャの切り替え中に性能と一貫性を維持するにはどうすればよいか？

主な発見

• プロトタイプは、変化するクエリパターンに応じてキーバリュー型ストアとカラムストア型アーキテクチャの間で、シームレスかつ自動的に進化することを実証した。
• エボリューション型データシステムは、リアルタイムのワークロードフィットネスに基づき、複数の共存する構成から最適なアーキテクチャを動的に選択できる。
• 手動チューニングや専門的知識の必要性が低減され、小規模な組織や研究ラボが高性能なデータシステムを活用できるようになった。
• データベースアーキテクチャを動的で進化する実体として扱うことで、静的でモノリス的な設計よりも長期的な適応性が向上した。
• ストレージ、アクセス、実行戦略の間でのアーキテクチャ的トレードオフを、細かく自動的に探索でき、最適な実行時構成を達成した。
• 進化的プロセスにより継続的な適応が可能となり、再構成やダウンタイムなしにワークロードの変化に応じてシステムが反応できるようになった。