[論文レビュー] Bayesian Optimization for Selecting Efficient Machine Learning Models

Lidan Wang, Franck Dernoncourt+1 more|arXiv (Cornell University)|Aug 2, 2020

Machine Learning and Data Classification参考文献 29被引用数 8

ひとこと要約

本稿では、トレーニングデータサイズを外部ハイパーパrameterとして組み込むことで、予測精度とトレーニング効率の両方を統合的に最適化するベイジアン最適化フレームワークを提案する。調整可能なトレードオフ目的関数を定式化することで、従来の完全データ上でのベイジアン最適化と比較して、最大55％のトレーニング時間を短縮しながら、上限精度の94–96％を維持する、最先端のモデル効率性を達成する。

ABSTRACT

The performance of many machine learning models depends on their hyper-parameter settings. Bayesian Optimization has become a successful tool for hyper-parameter optimization of machine learning algorithms, which aims to identify optimal hyper-parameters during an iterative sequential process. However, most of the Bayesian Optimization algorithms are designed to select models for effectiveness only and ignore the important issue of model training efficiency. Given that both model effectiveness and training time are important for real-world applications, models selected for effectiveness may not meet the strict training time requirements necessary to deploy in a production environment. In this work, we present a unified Bayesian Optimization framework for jointly optimizing models for both prediction effectiveness and training efficiency. We propose an objective that captures the tradeoff between these two metrics and demonstrate how we can jointly optimize them in a principled Bayesian Optimization framework. Experiments on model selection for recommendation tasks indicate models selected this way significantly improves model training efficiency while maintaining strong effectiveness as compared to state-of-the-art Bayesian Optimization algorithms.

研究の動機と目的

• 実世界のデプロイ環境において時間制約が厳しい状況下で、モデルの有効性にのみ注目する既存のベイジアン最適化手法のギャップを解消すること。
• 予測精度とトレーニング時間の両方を統合的に最適化する包括的フレームワークを構築し、多様な時間予算下での効率的なモデル選択を可能にすること。
• トレーニングデータサイズなどの外部ハイパーパrameterを最適化空間に組み込むことで、速度と性能のバランスに追加の自由度を提供すること。
• ユーザーの特定の好みを反映する調整可能なトレードオフメトリクスを導入し、適応的モデル選択を可能にすること。
• 統合的最適化が、予測的有効性を損なわずに、著しく効率的なモデルを生成することを示すこと。

提案手法

• トレードオフハイパーパrameter α でパrameter化された、正規化された予測精度と正規化されたトレーニング時間の加重目的関数を提案する。
• ハイパーパrameter探索空間を拡張し、完全データの20％、40％、60％、80％、100％のトレーニングデータサイズを可変変数として含める。
• ガウス過程を補間モデルとして用い、内在的および外部ハイパーパrameterを含む拡張されたハイパーパラメータ空間上で、統合目的関数を回帰する。
• 期待改善（expected improvement）の獲得関数を適用し、精度と効率の両方の空間において、探索と活用のバランスを取った次回のハイパーパラメータ設定を選択する。
• 新しい評価結果を段階的に更新し、α で定義される最適なトレードオフ設定へと探索を改善する。
• α を変更することで、時間制約に応じた動的適応を可能にし、ユーザーがスピードと精度のバランスを調整できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化を、予測性能に特化するのではなく、予測精度とトレーニング効率の両方を統合的に最適化するように拡張可能か？
• RQ2 トレーニングデータサイズをハイパーパラメータとして含めることで、モデル選択における効率性と精度のトレードオフにどのような影響を与えるか？
• RQ3 調整可能なトレードオフメトリクスは、多様な時間制約下でも高い予測精度を維持しつつ、どの程度モデル選択の効率性を向上させられるか？
• RQ4 制限付きの予算下で、提案フレームワークは最先端のベイジアン最適化と比較して、トレーニング時間と精度の両面で優れているか？
• RQ5 実世界の応用において、ユーザーが指定した時間と精度要件を満たすモデルを、フレームワークが適応的に選択できるか？

主な発見

• 保険データセットでは、完全データ上でのベイジアン最適化の上限精度の94％を、トレーニング時間の55％で達成した。
• Yelpデータセットでは、完全データベースラインが要するトレーニング時間の57％で、上限精度の96％に到達した。
• 特に時間制約のあるシナリオにおいて、完全データ上での標準的ベイジアン最適化および30％データを使用する高速バージョンと比較して、本手法は一貫して優れた性能を示した。
• トレーニングデータサイズをハイパーパラメータとして組み込むことで、より速い収束を実現するための追加の自由度が得られ、効率的なモデル設定への到達が促進された。
• トレードオフパラメータ α を調整することで、ユーザーの好みに応じたカスタマイズ可能なスピード・精度のバランスが実現され、フレームワークは柔軟に適応可能であった。
• 結果として、統合的最適化が、厳密なレイテンシ制約やリソース制約が課される実世界システムにおいて、著しく実用的でデプロイ可能なモデルを生成できることを示した。