[論文レビュー] A Unified Transferable Model for ML-Enhanced DBMS

Zi‐Niu Wu, Pei Yu+7 more|arXiv (Cornell University)|May 6, 2021

Data Management and Algorithms参考文献 48被引用数 6

ひとこと要約

本稿では、マルチタスク学習を活用してタスク共有知識を捉え、事前学習/微調整フレームワークを用いてデータベース間のメタ知識を抽出する、機械学習増強型データベース管理システムのための統合的で転送可能なモデルMTMLFを提案する。新しい未確認データベース上で、MTMLFはPostgreSQLに比べて40.6%高速なクエリ実行を達成し、クラウドDB環境における強力な転送性と実用性を示している。

ABSTRACT

Recently, the database management system (DBMS) community has witnessed the power of machine learning (ML) solutions for DBMS tasks. Despite their promising performance, these existing solutions can hardly be considered satisfactory. First, these ML-based methods in DBMS are not effective enough because they are optimized on each specific task, and cannot explore or understand the intrinsic connections between tasks. Second, the training process has serious limitations that hinder their practicality, because they need to retrain the entire model from scratch for a new DB. Moreover, for each retraining, they require an excessive amount of training data, which is very expensive to acquire and unavailable for a new DB. We propose to explore the transferabilities of the ML methods both across tasks and across DBs to tackle these fundamental drawbacks. In this paper, we propose a unified model MTMLF that uses a multi-task training procedure to capture the transferable knowledge across tasks and a pre-train fine-tune procedure to distill the transferable meta knowledge across DBs. We believe this paradigm is more suitable for cloud DB service, and has the potential to revolutionize the way how ML is used in DBMS. Furthermore, to demonstrate the predicting power and viability of MTMLF, we provide a concrete and very promising case study on query optimization tasks. Last but not least, we discuss several concrete research opportunities along this line of work.

研究の動機と目的

• 各新しいデータベースに対して再訓練を必要とする既存の機械学習ベースのDBMSソリューションの非効率性と現実的でない点を是正すること。
• 複数のデータベース間で一般化可能なメタ知識を抽出することで、機械学習増強型DBMSにおける「コールドスタート」問題を克服すること。
• 基数推定、コスト推定、クエリ最適化などの相互に依存するDBMSタスク間で共有される知識を捉えることで、モデルの効果性とデータ効率を向上させること。
• データと再訓練の必要を最小限に抑える事前学習と微調整フレームワークを用いて、クラウドDBサービスにおける機械学習の実用的導入を可能にすること。

提案手法

• 複数のDBMSタスクで同時に学習するマルチタスク学習手順を提案し、共有表現とタスク間依存関係を学習可能にする。
• 共通モデルを多様なデータベースで事前学習することで、データベースに依存しないメタ知識を抽出する、事前学習と微調整のフレームワークを設計する。
• 各データベースごとに特徴量抽出モジュールを設け、テーブル統計やデータ分布などのデータセット固有の特徴を捉える。
• メタ学習を用いて、少量のトレーニング例のみで、抽出されたメタ知識を新しいデータベースに転送する。
• 共有表現とタスク固有モジュールを統合することで、1つの統合モデルで複数のDBMSワークロードをサポートする。
• 既存のクエリワークロードとAQP技術を活用し、単一テーブルクエリの特徴量を効率的に学習することで、迅速なモデル適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 統合的機械学習モデルは、異なるデータベースシステム間で知識を効果的に転送し、新規データベースへの再訓練の必要を減らすことができるか？
• RQ2 相互に依存するDBMSタスク（例：基数推定とクエリ最適化）間で共有される知識は、モデルの効率性とパフォーマンスをどのように向上させるか？
• RQ3 複数のデータベースから抽出したメタ知識を内蔵した事前学習モデルは、最小限の微調整で未確認の新しいデータベースにどの程度一般化できるか？
• RQ4 DBMSタスク間でマルチタスク学習を実施することで、データ効率とモデル一般化性能の向上により、タスク固有モデルよりも優れたパフォーマンスを達成できるか？

主な発見

• メタ学習アプローチ（MLA）で学習されたMTMLF-QOは、新しい未確認データベース上でPostgreSQLに比べてクエリ実行時間を40.6%短縮した。
• 同じテストデータベース上でスクラッチから学習したモデル（MTMLF-QO single）はわずか44.3%の改善にとどまり、事前学習されたメタ知識が広範な再訓練の必要を著しく削減していることが示された。
• 事前学習された共有表現（S）とタスク固有モジュール（T）は、11種類の異なるデータベース間で一般化可能な知識を効果的に捉えており、転送可能であることを裏付けた。
• 各データベースの特徴量抽出モジュールは、単一テーブルクエリとAQP技術を用いて効率的に学習され、スケーラブルで迅速な適応が可能となった。
• クエリ最適化におけるモデルのパフォーマンスは、タスク間およびデータベース間の知識転送が、モデルの有効性とデータ効率を向上させることを示している。
• 結果は、特にフェデレーテッドラーニングを組み合わせることでプライバシー保護型トレーニングが可能になる点を踏まえ、クラウドベースのDBサービスにおける事前学習と微調整のパラダイムの実現可能性と将来性を裏付けた。