[論文レビュー] Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax

Daniel T. Chang|arXiv (Cornell University)|Dec 11, 2019

Machine Learning and Data Classification参考文献 11被引用数 15

ひとこと要約

この論文は、BoTorch、GPyTorch、Ax を用いたベイジアンハイパーパramータ最適化の簡素化されたフレームワークを提示し、高次元空間におけるディープラーニングハイパーパramータの効率的で適応的なチューニングを可能にしている。これらのツールの統合により、スケーラブルなガウス過程推論、取得関数を用いた柔軟なベイジアン最適化、自動化された最適化ループが実現され、分子データにおけるグラフニューラルネットワークのグループ重み最適化において効果的なパフォーマンスを示している。

ABSTRACT

Deep learning models are full of hyperparameters, which are set manually before the learning process can start. To find the best configuration for these hyperparameters in such a high dimensional space, with time-consuming and expensive model training / validation, is not a trivial challenge. Bayesian optimization is a powerful tool for the joint optimization of hyperparameters, efficiently trading off exploration and exploitation of the hyperparameter space. In this paper, we discuss Bayesian hyperparameter optimization, including hyperparameter optimization, Bayesian optimization, and Gaussian processes. We also review BoTorch, GPyTorch and Ax, the new open-source frameworks that we use for Bayesian optimization, Gaussian process inference and adaptive experimentation, respectively. For experimentation, we apply Bayesian hyperparameter optimization, for optimizing group weights, to weighted group pooling, which couples unsupervised tiered graph autoencoders learning and supervised graph prediction learning for molecular graphs. We find that Ax, BoTorch and GPyTorch together provide a simple-to-use but powerful framework for Bayesian hyperparameter optimization, using Ax's high-level API that constructs and runs a full optimization loop and returns the best hyperparameter configuration.

研究の動機と目的

• ディープラーニングにおける計算コストが高いため、ハイパーパramータ空間の高次元探索を効率的に行う課題に対処すること。
• BoTorch、GPyTorch、Ax を統合して、ベイジアンハイパーパramータ最適化のための統一的で使いやすいフレームワークを構築すること。
• 原則的な探索と活用のトレードオフを踏まえた、適応的でデータ効率の良いハイパーパramータチューニングを可能にすること。
• 重み付きグループプーリングを含む実世界の分子グラフ学習タスクにおける有効性を実証すること。

提案手法

• ハイパーパramータと性能の関係をモデル化するためにガウス過程を用いたベイジアン最適化を採用する。
• 微分可能確率的モデリングと取得関数最適化に BoTorch を活用する。
• GPUアクセcelerationを活用したスケーラブルで効率的なガウス過程推論に GPyTorch を活用する。
• 試行のスケジューリングと早期停止を含む最適化ループの自動化に Ax のハイレベルAPIを活用する。
• グラフオートエンコーダーの重み付きグループプーリング層におけるグループ重み最適化にこのフレームワークを適用する。
• 階層的グラフオートエンコーディングと共同ハイパーパramータチューニングによる教師ありグラフ予測を統合する。

実験結果

リサーチクエスチョン

• RQ1 BoTorch、GPyTorch、Ax の統合により、ディープラーニングにおけるベイジアンハイパーパラメータ最適化が簡素化されるか？
• RQ2 このフレームワークは、高次元で評価にコストがかかる探索空間において、どれほど効果的にハイパラメータを最適化できるか？
• RQ3 分子性質予測のためのグラフニューラルネットワークにおけるグループ重みの共同最適化により、どの程度のパフォーマンス向上が達成できるか？
• RQ4 Ax の自動化された最適化ループは、手動またはグリッドベースのハイパラメータサーチと比較してどの程度優れているか？
• RQ5 ガウス過程を用いたベイジアン最適化は、ランダムまたはグリーディサーチに比べてハイパラメータチューニングでどの程度優れているか？

主な発見

• BoTorch、GPyTorch、Ax の組み合わせは、ベイジアンハイパーパラメータ最適化に強力でスケーラブルかつ使いやすいフレームワークを提供する。
• このフレームワークにより、計算コストを低減しつつ高次元ハイパラメータ空間の効率的探索が可能になった。
• 重み付きグループプーリング層におけるグループ重みの最適化により、分子グラフ予測タスクにおけるモデルパフォーマンスが向上した。
• Ax のハイレベルAPIは、試行管理と収束検出を含む完全な最適化ループの自動化に成功した。
• BoTorchによる微分可能ベイジアン最適化のおかげで、勾配ベース手法を用いたエンドツーエンド最適化が可能になった。
• 本アプローチは優れたサンプル効率を示し、ランダムまたはグリッドサーチと比較して少ない試行回数で競争力のある結果を達成した。