[論文レビュー] Rethinking Default Values: a Low Cost and Efficient Strategy to Define Hyperparameters

Rafael Gomes Mantovani, André Luis Debiaso Rossi+4 more|arXiv (Cornell University)|Jul 31, 2020

Machine Learning and Data Classification参考文献 40被引用数 10

ひとこと要約

本稿では、150のデータセットにわたり粒子群最適化（PSO）を用いてハイパーパramータ（HP）を最適化することで、機械学習モデルの最適化されたデフォルトHP設定を低コストで生成する戦略を提案する。得られた「最適化されたデフォルト」は、一般的なツールが提供する標準デフォルトを著しく上回り、フルなハイパーパramータチューニングの必要性を低減し、最小限の計算コストで競争力のある性能を達成する。

ABSTRACT

Machine Learning (ML) algorithms have been increasingly applied to problems from several different areas. Despite their growing popularity, their predictive performance is usually affected by the values assigned to their hyperparameters (HPs). As consequence, researchers and practitioners face the challenge of how to set these values. Many users have limited knowledge about ML algorithms and the effect of their HP values and, therefore, do not take advantage of suitable settings. They usually define the HP values by trial and error, which is very subjective, not guaranteed to find good values and dependent on the user experience. Tuning techniques search for HP values able to maximize the predictive performance of induced models for a given dataset, but have the drawback of a high computational cost. Thus, practitioners use default values suggested by the algorithm developer or by tools implementing the algorithm. Although default values usually result in models with acceptable predictive performance, different implementations of the same algorithm can suggest distinct default values. To maintain a balance between tuning and using default values, we propose a strategy to generate new optimized default values. Our approach is grounded on a small set of optimized values able to obtain predictive performance values better than default settings provided by popular tools. After performing a large experiment and a careful analysis of the results, we concluded that our approach delivers better default values. Besides, it leads to competitive solutions when compared to tuned values, making it easier to use and having a lower cost. We also extracted simple rules to guide practitioners in deciding whether to use our new methodology or a HP tuning approach.

研究の動機と目的

• 機械学習ツールに内在する不適切なデフォルトHP設定がモデル性能を制限するという課題に対処すること。
• フルなハイパーパラメータチューニングの計算負荷を軽減しつつ、標準デフォルトを上回る予測性能を向上させること。
• 多様なデータセットに適用可能な、少数で効果的なデフォルトHP設定のプールを生成するデータ駆動型戦略を開発すること。
• 最適化されたデフォルトがフルチューニングよりも優れている状況を特定し、実用的利便性を高めること。
• 他の機械学習アルゴリズムに適用可能な再利用可能でオープンソースのフレームワークを提供すること。

提案手法

• 著者らは、OpenMLから150の多様なデータセットを選定し、機械学習問題の広範な範囲をカバーする。
• 予測性能を最大化するハイパーパラメータ設定の探索に、粒子群最適化（PSO）を用いた。
• フィットネス関数は、全データセットにおける性能を合成指標で集約し、堅牢で一貫性のある結果を重視した。
• 51のデータセットのサンプルが、多様性と堅牢性のバランスにおいて最良のトレードオフを示した。
• 最良のPSO解から得られた最適化されたハイパーパラメータ設定を、一般的な機械学習ツールの標準デフォルトと比較して評価した。
• 決定木ベースのモデルを用いて、ルールベースの意思決定基準を抽出し、最適化されたデフォルトがチューニングを上回る状況を予測した。

実験結果

リサーチクエスチョン

• RQ1 少数の最適化されたデフォルトHP値は、機械学習ツールが提供する標準デフォルトを上回る性能を発揮できるか？
• RQ2 提案手法により、フルなハイパーパラメータチューニングを必要とするデータセット数は著しく減少するか？
• RQ3 どのデータセットの特徴が、最適化されたデフォルトかフルチューニングのどちらが好ましいかを予測できるか？
• RQ4 最適化に使用するデータセットサンプルのサイズが、得られるデフォルト設定の堅牢性と性能にどのように影響するか？
• RQ5 最適化されたデフォルトは、計算コストを著しく削減しながらも、フルチューニングと同等の性能を達成できるか？

主な発見

• 最適化されたデフォルトHP設定は、すべてのテスト状況において標準デフォルトを著しく上回る予測性能を達成した。
• 最適化されたデフォルトは、実証的評価に基づき、フルなハイパーパラメータチューニングを必要とするデータセット数を50%以上削減した。
• ハイパーパラメータ最適化のための最適なサンプルサイズは51データセットであり、堅牢性と多様性のバランスが取れていた。
• 100件未満の例と20未満の特徴量を有するデータセットでは、最適化されたデフォルトが常にチューニングを上回った。
• 例の数が多く、クラス分布がバランスの取れたデータセットでは、一般的にフルなハイパーパラメータチューニングが最適化されたデフォルトを上回る効果を示した。
• 提案手法は、評価回数を桁違いに削減しながらも、フルチューニングと同等の性能を達成した。