[論文レビュー] Automated machine learning: AI-driven decision making in business analytics

Marc Schmitt|arXiv (Cornell University)|May 21, 2022

Machine Learning and Data Classification被引用数 11

ひとこと要約

この論文は、H2O AutoMLがビジネスアナリティクスにおける自動モデル選択とハイパーパrameterチューニングを通じて、非専門家がプロフェッショナルに近い機械学習性能を達成できることを評価している。3つの実世界の事例において手動でチューニングされたモデルが優れた性能を示したものの、H2O AutoMLは熟練した知識がほとんど不要な状態で迅速かつ信頼性の高い結果を提供し、プロトタイプ作成を大幅に加速させ、デプロイメントサイクルを短縮した。

ABSTRACT

The realization that AI-driven decision-making is indispensable in today's fast-paced and ultra-competitive marketplace has raised interest in industrial machine learning (ML) applications significantly. The current demand for analytics experts vastly exceeds the supply. One solution to this problem is to increase the user-friendliness of ML frameworks to make them more accessible for the non-expert. Automated machine learning (AutoML) is an attempt to solve the problem of expertise by providing fully automated off-the-shelf solutions for model choice and hyperparameter tuning. This paper analyzed the potential of AutoML for applications within business analytics, which could help to increase the adoption rate of ML across all industries. The H2O AutoML framework was benchmarked against a manually tuned stacked ML model on three real-world datasets. The manually tuned ML model could reach a performance advantage in all three case studies used in the experiment. Nevertheless, the H2O AutoML package proved to be quite potent. It is fast, easy to use, and delivers reliable results, which come close to a professionally tuned ML model. The H2O AutoML framework in its current capacity is a valuable tool to support fast prototyping with the potential to shorten development and deployment cycles. It can also bridge the existing gap between supply and demand for ML experts and is a big step towards automated decisions in business analytics. Finally, AutoML has the potential to foster human empowerment in a world that is rapidly becoming more automated and digital.

研究の動機と目的

• 機械学習（AutoML）が産業分野における機械学習の採用を促進する可能性を評価すること。
• ビジネスアナリティクス分野における機械学習エキスパートの需要と供給の間のギャップを是正すること。
• 実世界のデータセットを用いてH2O AutoMLと手動でチューニングされたモデルを比較し、性能と使いやすさをベンチマークすること。
• AutoMLがビジネスアプリケーションにおけるプロトタイプ作成と開発サイクルの短縮に果たす役割を評価すること。
• AutoMLが、ますます自動化が進むビジネス環境において、非専門家がAI駆動の意思決定を支援するのにどのように役立つかを検討すること。

提案手法

• 本研究では、H2O AutoMLフレームワークを用いて、3つの実世界のビジネスアナリティクスデータセットでモデル選択とハイパーパrameterチューニングを自動化した。
• 各データセットに対して、パフォーマンスのベンチマークとして、手動でチューニングされたスタッキングアンサンブルモデルを構築した。
• モデルのパフォーマンスは、決定係数（R-squared）および平均二乗誤差（mean squared error）などの標準的な回帰指標を用いて評価した。
• AutoMLパイプラインは、非専門家が実際の現場で利用可能な状態を反映させるために、デフォルト設定で構成された。
• AutoMLと手動で最適化されたモデルとの間で、予測性能および学習時間の比較を実施した。
• スピード、使いやすさ、生産環境向けモデルの生成における信頼性の観点から、フレームワークを評価した。

実験結果

リサーチクエスチョン

• RQ1 H2O AutoMLは、実世界のビジネスアナリティクスタスクにおいて、手動でチューニングされたスタッキングアンサンブルモデルと比較して競争力のある性能を達成できるか？
• RQ2 AutoMLは、モデル開発およびチューニングにおける専門家の介入をどの程度低減できるか？
• RQ3 AutoMLは、ビジネスアナリティクスアプリケーションにおける開発およびデプロイメントサイクルにどのように影響を与えるか？
• RQ4 AutoMLは、非専門家が信頼性の高い機械学習の成果を達成するのをどのようないくつかの方法で支援できるか？
• RQ5 ビジネスアナリティクスワークフローにおいて、性能と自動化の間にはどのようなトレードオフがあるか？

主な発見

• 手動でチューニングされたスタッキングモデルは、3つの事例すべてで優れたパフォーマンスを示し、熟練したチューニングの利点を裏付けた。
• H2O AutoMLは、最小限のユーザー入力と設定で、すべてのデータセットに対して信頼性があり一貫した結果を提供した。
• AutoMLフレームワークは、開発時間を大幅に短縮し、迅速なプロトタイプ作成を可能にし、デプロイメントサイクルを短縮した。
• H2O AutoMLは高速かつ使いやすく、モデル品質に compromise をきたさずに非専門家にも利用可能であることが実証された。
• 手動でチューニングされたモデルほどパフォーマンスが高くはなかったが、AutoMLの結果は多くのビジネスアプリケーションにおいて実用的であるほどに近かった。
• 本研究は、AutoMLが機械学習の供給と需要のギャップを埋める可能性を確認した。産業分野における広範な採用を支援するものである。