[論文レビュー] Efficient AutoML Pipeline Search with Matrix and Tensor Factorization

Chengrun Yang, Jicong Fan+2 more|arXiv (Cornell University)|Jun 7, 2020

Tensor decomposition and applications参考文献 62被引用数 4

ひとこと要約

本稿では、データセット全体のパイプライン性能をモデル化するために行列およびテンソル分解を用いた、効率的なAutoMLパイプライン探索システムを提案する。低ランクのサーロゲートモデルとグリーディ実験設計を活用することで、高価なパイプライン評価回数を削減し、大規模データセットにおいても10秒未塔の設計時間で最先端の性能を達成する。

ABSTRACT

Data scientists seeking a good supervised learning model on a new dataset have many choices to make: they must preprocess the data, select features, possibly reduce the dimension, select an estimation algorithm, and choose hyperparameters for each of these pipeline components. With new pipeline components comes a combinatorial explosion in the number of choices! In this work, we design a new AutoML system to address this challenge: an automated system to design a supervised learning pipeline. Our system uses matrix and tensor factorization as surrogate models to model the combinatorial pipeline search space. Under these models, we develop greedy experiment design protocols to efficiently gather information about a new dataset. Experiments on large corpora of real-world classification problems demonstrate the effectiveness of our approach.

研究の動機と目的

• 膨大なコンポonentとハイパーパramータの組み合わせによるAutoMLパイプライン探索における組み合わせ的爆発問題に対処すること。
• 新しいデータセットに対して、効率的に情報量の多いパイプラインを選択して評価することで、AutoMLにおけるコールドスタート問題を克服すること。
• 低ランク構造を用いて一般化可能なサーロゲートモデルを構築し、評価コストを低減すること。
• 行列／テンソル分解とグリーディ実験設計を組み合わせることで、高速かつスケーラブルなパイプライン選択を実現すること。
• 最小限のランタイムオーバーヘッドで、既存のAutoMLシステムを上回る性能を達成すること。

提案手法

• データセット、コンポーネント、ハイパーパramータの間の依存関係を捉えるために、低ランク分解を用いた行列またはテンソルとしてパイプライン性能をモデル化すること。
• 行列およびテンソル分解を用いて、データセットとパイプラインの埋め込みを学習し、データセット間での転移学習を可能にすること。
• 性能予測のレジットを最小限に抑えるために、最初に評価する最も情報量の多いパイプラインをグリーディ実験設計で選択すること。
• 非線形なパイプライン性能の関係に対応するため、カーネル化された行列モデルを適用すること。
• データセットのサイズと特徴量数に基づく多項式ランタイム予測モデルを統合し、時間制約付きのパイプライン選択を支援すること。
• 明示的な最適化を伴わずに、ハイパーパラメータグリッド全体の性能を予測することで、ハイパーパラメータのランドスケープを構築すること。

実験結果

リサーチクエスチョン

• RQ1 低ランクの行列およびテンソル分解モデルは、多様なデータセットにわたるAutoMLパイプラインの組み合わせ的空間を効果的に表現できるか？
• RQ2 グリーディ実験設計は、新しいデータセットに対して、最も情報量の多いパイプラインをどれほど効率的に特定できるか？
• RQ3 履歴データに基づいて学習されたサーロゲートモデルは、最小限の評価で未観測のデータセットにおけるパイプライン性能をどれほど正確に予測できるか？
• RQ4 異なる推定器タイプやハイパーパラメータ範囲に対しても、予測精度を維持しながら一般化できるか？
• RQ5 ランタイム予測の統合は、実際の時間制約付きパイプライン選択において、どのように性能を向上させるか？

主な発見

• 本システムは、大規模データセットでさえも10秒未塔の実験設計時間で最先端の性能を達成し、AutoMLパイプライン選択の分野で最先端の性能を実現した。
• 215×23424の誤差行列において、100回の評価後、グリーディ法はランダム選択よりもレジットを30%低減した。
• すべての推定器タイプにおいて、2倍以内の精度が70%以上達成され、マルチレイヤーパーセプトロンでは74.5%の精度に達した。
• 予測されたハイパーパラメータランドスケープは、実際のランドスケープとよく一致しており、粗いグリッドでも全体的なトレンドと微細な変動を捉えていた。
• 新しいデータセット1つあたり、コンポーネント数に依存せずに定数回のパイプライン評価で済ませた。
• さまざまなOpenMLデータセットにおいて、推定器タイプやデータ特性に関係なく一貫した性能を示し、ロバスト性を確認した。