[論文レビュー] Facilitating Database Tuning with Hyper-Parameter Optimization: A Comprehensive Experimental Evaluation

Xinyi Zhang, Zhuo Chang+5 more|arXiv (Cornell University)|Oct 25, 2021

Data Stream Mining Techniques参考文献 84被引用数 5

ひとこと要約

本稿では、ハイパーパramータ最適化（HPO）技術を用いたデータベース設定チューニングの包括的評価フレームワークを提案し、SHAPに基づくノブ選択とSMACに基づく最適化がエンドツーエンドで最高のパフォーマンスを達成することを示している。サーモグラフィックベースのベンチマークを導入することでチューニングコストを削減し、多様なワークロードと設定空間におけるHPOアルゴリズムの広範な分析を可能にしている。

ABSTRACT

Recently, using automatic configuration tuning to improve the performance of modern database management systems (DBMSs) has attracted increasing interest from the database community. This is embodied with a number of systems featuring advanced tuning capabilities being developed. However, it remains a challenge to select the best solution for database configuration tuning, considering the large body of algorithm choices. In addition, beyond the applications on database systems, we could find more potential algorithms designed for configuration tuning. To this end, this paper provides a comprehensive evaluation of configuration tuning techniques from a broader perspective, hoping to better benefit the database community. In particular, we summarize three key modules of database configuration tuning systems and conduct extensive ablation studies using various challenging cases. Our evaluation demonstrates that the hyper-parameter optimization algorithms can be borrowed to further enhance the database configuration tuning. Moreover, we identify the best algorithm choices for different modules. Beyond the comprehensive evaluations, we offer an efficient and unified database configuration tuning benchmark via surrogates that reduces the evaluation cost to a minimum, allowing for extensive runs and analysis of new techniques.

研究の動機と目的

• データベースチューニングモジュールにわたる設定チューニングアルゴリズムに対する体系的で細分化された評価の不足を解消すること。
• データベースチューニングシステムにおけるノブ選択、設定最適化、知識移譲の最適なアルゴリズム的選択を同定すること。
• 効率的でスケーラブルな分析を可能にするために、チューニング実験の高い評価コストを削減するサーモグラフィックベースのベンチマークを導入すること。
• ハイパーパramータ最適化分野から得られるHPO技術が、データベース設定チューニングに効果的に応用可能かどうかを調査すること。
• 予算制約下でのアルゴリズム的トレードオフとパフォーマンスの実証的分析を通じて、将来のエンドツーエンドデータベースチューニングシステムの設計を支援すること。

提案手法

• サーモグラフィックモデルを用いた統一されたベンチマークを提案し、データベースのパフォーマンスを模擬することで、設定チューニングの評価コストを著しく削減する。
• 設定空間の次元数が異なる状況をカバーするため、197種類の異なるノブセット（トップ1からトップ197まで）を用いて性能を評価する。
• SHAP、ラasso、感度分析を含む5つの重要度測定技術を用い、関係のないノブを順位付け・削除する。
• 2つのワークロードと197のノブセットを対象に、6つの最適化アルゴリズム（SMAC、混合カーネルを用いたベイズ最適化、DDPGなど）を評価する。
• 歴史的データを活用するRGPE（ランダム化ガウス過程アンサンブル）を用いた知識移譲を統合し、チューニングの高速化を図る。
• 11,820回の実験（197 × 5 × 6 × 2）を実施し、アルゴリズム的コンponentsのアブレーションスタディおよび比較分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 感度分析やSHAP、ラassoなどの重要度測定手法の中で、どれが、デフォルト設定が妥当に設定されている場合に、性能損失を最小限に抑えて、チューニングに最も影響を与えるノブを最もよく特定するか？
• RQ2 SMAC や DDPG、ベイズ最適化などの最適化アルゴリズムの中で、多様な設定空間において、最も速く収束し、最高のパフォーマンスを達成するのはどれか？
• RQ3 RGPEのようなフレームワークによる知識移譲は、チューニングの効率をどのように向上させるか。また、負の移譲のリスクは何か？
• RQ4 限られたリソース下で、ノブ選択と設定最適化のチューニング予算をどのように最適に配分すべきか？
• RQ5 ハイパーパramータ最適化分野から得られるHPO技術は、測定可能な利点を得られるように、データベース設定チューニングに効果的に応用可能か？

主な発見

• デフォルト設定が妥当に設定されている場合、SHAPは、他の重要度測定手法に比べて、最も影響力のあるノブを一貫してよく特定する。
• 高次元かつ多様な設定空間において、SMACが、ベイズ最適化や強化学習ベースの最適化器を上回る、全体として最高のパフォーマンスを達成する。
• RGPEに基づく知識移譲は、履歴データを適応的に重み付けすることで、チューニング時間を著しく短縮し、収束を改善するが、負の移譲を回避する。
• DDPGに基づく強化学習は有望ではあるが、新しいワークロードに適用すると負の移譲に苦しむため、一般化性能が制限される。
• サーモグラフィックベンチマークにより、評価コストを最小限に抑え、実データベース実行では非現実的だった多様な設定における11,820回の実験を可能にした。
• SHAPによるノブ選択とSMACによる最適化を、RGPEを用いた移譲フレームワーク内で組み合わせることで、エンドツーエンドでのチューニングパフォーマンスが最良となる。