[論文レビュー] AutoCompete: A Framework for Machine Learning Competition

Abhishek Thakur, Artus Krohn-Grimberghe|arXiv (Cornell University)|Jul 8, 2015

Machine Learning and Data Classification参考文献 4被引用数 9

ひとこと要約

AutoCompete は、表形式データのコンペティションにおいて人為的介入を最小限に抑えるために設計された完全自動化された機械学習フレームワークであり、データ型の特定、特徴量工学、モデル選択、ハイパーパrameterチューニングを自動化する。scikit-learn と Python のみを用いて、Adult、MNIST、Newsgroups-20 などの多様なデータセットにおいて、hyperopt やグリッドサーチといった既存のツールと同等またはそれ以上の性能を達成し、AutoML Challenge で2位を獲得するなど、競争的な性能を発揮している。

ABSTRACT

In this paper, we propose AutoCompete, a highly automated machine learning framework for tackling machine learning competitions. This framework has been learned by us, validated and improved over a period of more than two years by participating in online machine learning competitions. It aims at minimizing human interference required to build a first useful predictive model and to assess the practical difficulty of a given machine learning challenge. The proposed system helps in identifying data types, choosing a machine learn- ing model, tuning hyper-parameters, avoiding over-fitting and optimization for a provided evaluation metric. We also observe that the proposed system produces better (or comparable) results with less runtime as compared to other approaches.

研究の動機と目的

• 機械学習コンペティションにおける人的関与を減らし、モデル構築とハイパーパrameterチューニングを自動化すること。
• 100以上の機械学習コンペティションでの経験から得た知識を活用し、多様な表形式データセットに一般化可能なフレームワークを構築すること。
• 熟練した知識がほとんど不要な初心者ユーザーが、最小限の専門知識や介入で正確な予測モデルを構築できるようにすること。
• 分類および回帰タスクにおいて AUC や F1 スコア、正答率といった特定の評価指標を最適化すること。
• 速度と予測性能の両面で、hyperopt やグリッドサーチといった既存の自動機械学習フレームワークを上回るか同等の性能を発揮すること。

提案手法

• データ漏洩を防ぎ、一般化性能を確保するため、データをストラティファイドな訓練セットと検証セットに分割する。
• ヒューリスティクスを用いてデータ型（例：数値、テキスト）を自動特定し、ドメイン固有の前処理パイプラインを適用する。
• 特徴量選択および変換パイプラインをモデル選択の前に行い、すべての変換を保存し、検証セットに対しても再適用する。
• 複数のアルゴリズム（例：ランダムフォレスト、SVM、ロジスティック回帰）を評価するモデルセレクタが、目的の指標に基づいて最良のモデルを選択する。
• ハイパーパrameterチューニングはグリッドサーチまたはランダムサーチで実施し、効率性を確保するため30分のウォールタイム制限を設ける。
• データ前処理、特徴量選択、モデル学習、評価を自動ワークフローでつなげるパイプラインアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全自動化された機械学習フレームワークは、人的介入を最小限に抑えつつ、実世界の機械学習コンペティションで競争的な性能を達成できるか？
• RQ2 AutoCompete の性能は、Adult や MNIST といった多様な表形式データセットにおいて、既存の自動機械学習フレームワーク（hyperopt やグリッドサーチ）と比較してどうなるか？
• RQ3 何百もの機械学習コンペティションから得たコーディングされた知識を、モデル選択およびハイパーパrameterチューニングの向上にどの程度活用できるか？
• RQ4 手動による設定なしで、テキスト、数値、混合タイプのデータ型や分類・回帰といった異なる学習タスクに一般化できるか？
• RQ5 自動モデル構築における実行時間効率と予測性能のトレードオフはどの程度か？

主な発見

• Adult データセットでは、モデルスタッカーとグリッドサーチを用いて AUC 0.88 を達成し、スケーリングされたデータに対してベースライン手法を上回った。
• MNIST データセットでは、PCA + ランダムフォレストパイプラインを用いて96％の正答率を達成し、標準的なグリッドサーチや libsvm 手法を上回った。
• Newsgroups-20 のテキスト分類タスクでは、重み付き F1 スコア 0.864 を達成し、hyperopt-sklearn（0.856）や他のベースラインを上回った。
• スマートフォンデバイスのデータセットでは、ロジスティック回帰を用いて AUC 0.921 を達成し、高次元の数値データにおいて優れた性能を示した。
• 住宅回帰データセットでは、特徴量選択と SVR を組み合わせたランダムフォレストを用いて RMSE 2.3 を達成し、混合タイプのデータに対しても頑健であることを示した。
• AutoCompete は人為的介入なしに AutoML Challenge のフェーズ0で2位を獲得し、実際のコンペティション環境でも有効性が確認された。