[論文レビュー] Automatic Exploration of Machine Learning Experiments on OpenML

Daniel Kühn, Philipp Probst+2 more|arXiv (Cornell University)|Jun 28, 2018

Machine Learning and Data Classification参考文献 12被引用数 10

ひとこと要約

本論文は、OpenML Random Botを用いた自動化されたランダムなハイパーパramータのサンプリングにより生成された、38のOpenMLデータセットをカバーする250万件の機械学習実験を含む大規模かつオープンアクセスのメタデータセットを提示する。このデータセットは、ハイパーパramータの影響を体系的かつ包括的に研究でき、メタラーニングやチューニングのベンチマークに適している。

ABSTRACT

Understanding the influence of hyperparameters on the performance of a machine learning algorithm is an important scientific topic in itself and can help to improve automatic hyperparameter tuning procedures. Unfortunately, experimental meta data for this purpose is still rare. This paper presents a large, free and open dataset addressing this problem, containing results on 38 OpenML data sets, six different machine learning algorithms and many different hyperparameter configurations. Results where generated by an automated random sampling strategy, termed the OpenML Random Bot. Each algorithm was cross-validated up to 20.000 times per dataset with different hyperparameters settings, resulting in a meta dataset of around 2.5 million experiments overall.

研究の動機と目的

• 機械学習におけるハイパーパramータの影響を研究するための公開可能な実験的メタデータの不足を解消すること。
• メタラーニングおよび自動ハイパーパramータチューニングの研究を支援するため、大規模で再現可能かつ自由に利用可能なデータセットを提供すること。
• 多様なデータセットにわたるハイパーパramータ設定がモデルのパフォーマンスに与える影響を体系的に分析できること。
• より良いデフォルトのハイパーパramータ設定の開発およびより効率的なチューニング戦略の構築を支援すること。
• 広範な実証的結果を活用して、機械学習アルゴリズムのデバッグおよびロバストネス分析を促進すること。

提案手法

• OpenML Random Botを用いた自動化されたランダムなハイパーパramータのサンプリングにより、6つの機械学習アルゴリズムの定義済みハイパーパramータ範囲を体系的に探索する。
• 各アルゴリズムについて、1つのデータセットあたり最大20,000回の交差検証が実施され、合計で約250万件の実験が得られた。
• ハイパーパramータは定められた範囲内でサンプリングされ、非一様サンプリングは変換関数（例：学習率や正則化パラメータに対して指数スケーリング）を用いて実施された。
• OpenMLデータベースのナイトリーデータスナップショットを用いてデータセットを生成し、再現可能性とバージョン管理を確保した。
• パフォーマンス指標（AUC、正解率、Brierスコア）、実行時間、およびデータセットメタデータ（n、p、クラス不均衡）を含む構造化されたCSV形式で結果を保存した。
• 本データセットは、6つのアルゴリズム（glmnet、rpart、kknn、svm、ranger、xgboost）を38のバイナリ分類データセット（OpenML100スイートに属し、欠損値なし）で評価した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにわたる異なるハイパーパramータ設定が、機械学習アルゴリズムのパフォーマンスにどのように影響を与えるか？
• RQ2 どのハイパーパramータがモデルパフォーマンスに最も大きな影響を与えるか？また、ロバストなデフォルト設定を特定できるか？
• RQ3 パフォーマンス特性は、劣悪な設定を含む広範なハイパーパramータ設定の範囲でどのように変化するか？
• RQ4 この大規模な実証的データセットは、メタラーニングおよびハイパーパramータチューニングのプロセスをどのように改善できるか？
• RQ5 このデータセットは、より効率的かつロバストな自動機械学習パイプラインの開発をどの程度支援できるか？

主な発見

• 本研究では、38のデータセットおよび6つのアルゴリズムをカバーする合計2,576,610件の機械学習実験が生成され、同種のデータセットとしては世界最大級の公開メタデータセットの一つとなった。
• 各実験のパフォーマンス指標（AUC、正解率、Brierスコア）が含まれており、モデルの挙動を詳細に分析できる。
• ハイパーパramータ範囲は、変換関数（例：学習率や正則化パラメータに対して$2^x$）を用いて体系的に探索され、対数スケール上での非一様サンプリングが可能となった。
• OpenML Random Botは、OpenML100ベンチマークスイートに属する38のバイナリ分類データセットで実験を実施した。すべてのデータセットに欠損値がなく、出力はバイナリであった。
• データセットはfigshare経由で自由にアクセス可能であり、OpenMLデータベーススナップショットへのプログラム的アクセスを可能にするコードも同梱されており、再現性が保証されている。
• 結果から、ハイパーパラメータ空間全体におけるパフォーマンスのトレンド、特に性能が低い領域が明らかになった。これらの領域は、アルゴリズムのロバストネスおよびチューニング研究にとって貴重である。