[論文レビュー] Lale: Consistent Automated Machine Learning

Guillaume Baudart, Martin Hirzel+3 more|arXiv (Cornell University)|Jul 4, 2020

Machine Learning and Data Classification参考文献 20被引用数 6

ひとこと要約

Laleは、scikit-learnおよびJSON Schemaに基づく数学的に根拠のある抽象化を用いて、パイプライン定義、ハイパーパramータ探索、トポロジー探索を統合する一貫性があり高水準なPythonライブラリを提供する。これにより、自動生成された探索空間、高階オペレータおよび文法ベースのトポロジー探索をサポートし、サイド制約を考慮した探索空間コンパイルにより収束を向上させることで、最先端のツールと同等のパフォーマンスを達成する。既存のAutoMLツールとのシームレスな統合が可能である。

ABSTRACT

Automated machine learning makes it easier for data scientists to develop pipelines by searching over possible choices for hyperparameters, algorithms, and even pipeline topologies. Unfortunately, the syntax for automated machine learning tools is inconsistent with manual machine learning, with each other, and with error checks. Furthermore, few tools support advanced features such as topology search or higher-order operators. This paper introduces Lale, a library of high-level Python interfaces that simplifies and unifies automated machine learning in a consistent way.

研究の動機と目的

• 手動および自動機械学習ツール間の構文および抽象化の不整合を解消すること。
• ハイパーパramータチューニングからトポロジー探索に至るまで、自動化の全範囲を1つの一貫性のあるプログラミングモデルで統合すること。
• 自動化に対する細粒度の制御を可能にしつつ、既存のAutoMLツールとの互換性を維持すること。
• 高階オペレータ（例：ネストされたオペレータを有するアンサンブル）や文法ベースのパイプライントポロジー探索といった高度な機能をサポートすること。
• サイド制約を探索空間生成に組み込むことで、探索の効率と収束を向上させること。

提案手法

• Laleは、明示的なオペレータおよびハイパーパramータ仕様を備えた機械学習パイプラインを定義するための高水準な、scikit-learn互換のPython APIを用いる。
• ハイパーパramータ制約（包括してサイド制約も含む）を形式的に記述するためにJSON Schemaを活用し、機械検証可能な検証を可能にする。
• これらのパイプラインおよびスキーマ仕様を、hyperopt や SMAC などの既存のAutoMLツールと互換性のある探索空間にコンパイルする。
• ネストされたオペレータとそのハイパーパramータの探索空間を再帰的に生成することで、高階オペレータ（例：アンサンブル）をサポートする。
• 文脈自由文法を用いた文法ベースの構文を導入し、パイプライン定義言語を自然に拡張してトポロジー探索を可能にする。
• 豊富なスキーマ（サイド制約を含む）を、意味的に同等で妥当な探索空間に翻訳することで、最適化の安定性と収束性を向上させる探索空間コンパイラを提供する。

実験結果

リサーチクエスチョン

• RQ1 自動機械学習の全範囲（手動によるパイプライン定義から完全なトポロジー探索まで）にわたって、一貫性があり高水準なプログラミングモデルを確立できるか。
• RQ2 形式的なパイプラインおよびハイパーパramータ仕様から、正しさと表現力を保持したまま、AutoMLツール用の探索空間を自動的に生成できるか。
• RQ3 ハイパーパラメータスキーマに含まれるサイド制約が、自動探索中の収束性を向上させ、無効な設定の数を減らす程度はどの程度か。
• RQ4 文法ベースのトポロジー探索を、一貫性や使いやすさを損なわずにパイプライン定義言語にネイティブに統合できるか。
• RQ5 高階オペレータ（例：構成可能なサブパイプラインを有するアンサンブル）の導入が、探索空間の複雑さとパフォーマンスに与える影響は何か。

主な発見

• Laleの探索空間コンパイラは、サイド制約を考慮した探索空間生成により、無効な設定を排除することで収束を顕著に向上させる。特に複数のオペレータを含む複雑なパイプラインにおいて顕著である。
• Carデータセットでは、制約付き探索空間により、hyperoptがJ48分類器を正常に探索・最適化できた。一方、非制約付きの場合には、無効な実行が多発し収束しなかった。
• 制約付き探索空間は、無効なハイパーパramータ設定の数を削減し、特に複数の推定器を含むパイプラインにおいて、より速い収束と優れたパフォーマンスを実現した。
• Laleの自動探索空間生成は、最先端のAutoMLツールと同等のパフォーマンスを達成したが、より高い柔軟性と一貫性を提供した。
• 文法ベースのトポロジー探索と高階オペレータの統合により、下位のAutoMLツールに変更を加えずに、より表現力があり正確なパイプライン探索が可能になった。
• 多様なデータセット（例：Australian、Breast Cancer、CIFAR-10）を用いた実験により、Laleのアプローチが既存のAutoMLワークフローと互換性を保ちつつ、信頼性と使いやすさを向上させることを確認した。