[論文レビュー] Bayesian Optimization for Machine Learning : A Practical Guidebook

Ian Dewancker, Michael McCourt+1 more|arXiv (Cornell University)|Dec 14, 2016

Machine Learning and Algorithms参考文献 11被引用数 67

ひとこと要約

このガイドブックは、scikit-learn および Apache Spark を用いた実世界の例を提示することで、ベイジアン最適化が機械学習ワークフローにおけるハイパーパrameterチューニングをどのように高速化するかを示している。逐次的・確率的なハイパーパrameter探索により、ロジスティック回帰や行列分解といった複雑なモデルを効率的に最適化することで、ランダムサーチやデフォルト設定を上回る顕著な性能向上—RMSEが最大40.7%低減—を達成している。

ABSTRACT

The engineering of machine learning systems is still a nascent field; relying on a seemingly daunting collection of quickly evolving tools and best practices. It is our hope that this guidebook will serve as a useful resource for machine learning practitioners looking to take advantage of Bayesian optimization techniques. We outline four example machine learning problems that can be solved using open source machine learning libraries, and highlight the benefits of using Bayesian optimization in the context of these common machine learning applications.

研究の動機と目的

• 機械学習の実務家が実世界のハイパーパrameterチューニング問題にベイジアン最適化を適用するための実用的ガイドを提供すること。
• 多様な機械学習ワークロードにおいて、ベイジアン最適化がモデルの一般化性能と性能を向上させる有効性を示すこと。
• scikit-learn および Apache Spark を用いた一般的な機械学習タスクにおけるベイジアン最適化のオープンソース実装を紹介すること。
• 予測性能と効率性の観点から、ベイジアン最適化をランダムサーチおよびデフォルト設定と比較すること。

提案手法

• 交差検証を目的関数の指標として用い、ベイジアン最適化をロジスティック回帰パイプラインのハイパーパramータチューニングに適用している。
• 目的関数 f(λ) は、複数のデータ分割における平均5分割交差検証正解率として定義されている。
• 調整可能なパラメータには、特徴表現（n-gram 範囲、文書頻度フィルタ）およびロジスティック回帰正則化（log_min_df, C, loss, penalty）が含まれる。
• 協調フィルタリングの文脈では、Apache Spark における交互最小二乗法（ALS）を、検証セットの RMSE を目的関数としてチューニングしている。
• コストの高い評価を最小限に抑えるために、確率的サロゲートモデル（ガウス過程）を用いて逐次的なハイパーパラメータ選択をガイドしている。
• SigOpt のベイジアン最適化エンジンを用い、連続的・整数的・カテゴリカルなハイパーパラメータを並列化・分散環境で探索している。

実験結果

リサーチクエスチョン

• RQ1 ランダムサーチやデフォルトハイパーパラメータと比較して、ベイジアン最適化はテキスト分類タスクにおけるモデル性能を顕著に向上させることができるか？
• RQ2 ベイジアン最適化は、ロジスティック回帰パイプラインにおける複雑で高次元のハイパーパラメータ空間を効果的にチューニングできるか？
• RQ3 大規模なレコメンデーションシステムにおける ALS を用いた協調フィルタリングにおいて、ベイジアン最適化が RMSE をどの程度低減できるか？
• RQ4 収束速度と最終的なモデル性能の観点から、ベイジアン最適化はランダムサーチに比べてどのように優れているか？

主な発見

• ALS を用いたレコメンデーションシステムにおいて、ベイジアン最適化によりホールドアウトセットの RMSE が 0.7864 に低下し、デフォルトの MLlib ALS 設定（1.3263）と比較して 40.7% の改善が達成された。
• チューニング済みモデルはランダムサーチ（0.7901）よりも低い RMSE を達成しており、収束性と最適化効率の優位性が示された。
• ベイジアン最適化は正則化（λ）、ランク（k）、反復回数（T）を最適化することで、モデルの複雑さと一般化性能のバランスを効果的にとった。
• ランダムサーチよりも少ない評価回数で高い性能を達成したため、コストの高い機械学習パイプラインに適していることがわかった。
• このガイドブックは、ベイジアン最適化が小規模（scikit-learn）および大規模（Spark）な機械学習システムの両方に対して効果的に適用可能であることを示している。