[論文レビュー] MLBench: How Good Are Machine Learning Clouds for Binary Classification Tasks on Structured Data?

Yu Liu, Hantian Zhang+3 more|arXiv (Cornell University)|Jul 29, 2017

Machine Learning and Data Classification参考文献 18被引用数 9

ひとこと要約

この論文は、mlbench（Kaggleコンペティションのデータセットとその最良ソリューションを備えたベンチマーク）を用いて、Azure Machine Learning StudioとAmazon Machine Learningの実世界の二値分類タスクにおける性能を評価している。その結果、機械学習クラウドは高品質許容度の条件下では妥当な性能を示すが、低許容度の状態ではアンサンブル手法や高度なハイパーパrameterチューニングのサポートが限られているため、顕著に性能が劣ることが判明した。これは、現在の宣言的MLクラウド抽象化における重要なギャップを示している。

ABSTRACT

We conduct an empirical study of machine learning functionalities provided by major cloud service providers, which we call machine learning clouds. Machine learning clouds hold the promise of hiding all the sophistication of running large-scale machine learning: Instead of specifying how to run a machine learning task, users only specify what machine learning task to run and the cloud figures out the rest. Raising the level of abstraction, however, rarely comes free - a performance penalty is possible. How good, then, are current machine learning clouds on real-world machine learning workloads? We study this question with a focus on binary classication problems. We present mlbench, a novel benchmark constructed by harvesting datasets from Kaggle competitions. We then compare the performance of the top winning code available from Kaggle with that of running machine learning clouds from both Azure and Amazon on mlbench. Our comparative study reveals the strength and weakness of existing machine learning clouds and points out potential future directions for improvement.

研究の動機と目的

• 現代の機械学習クラウドが実世界の二値分類ワークロードをどの程度効果的にサポートしているかを評価すること。
• 専門家がチューニングした非宣言的システムと比較して、宣言的MLクラウドにおける性能ボトルネックを特定すること。
• Kaggleコンペティションからの実世界のデータセットと最良のソリューションを用いたベンチマークを確立すること。
• 特徴量工学とハイパーパrameterチューニングの影響を、独自の品質許容度指標を用いてクラウドの性能から分離して特定すること。
• 将来的なMLクラウド抽象化の改善を導くために、主な制限要因を同定すること。

提案手法

• Kaggleコンペティションの実世界データセットを組み合わせ、特徴量工学とモデル選択を含むベストエフォートベースラインソリューションを併記した、新規のベンチマーク「mlbench」を提案。
• クラウドの性能を最良のKaggleソリューションと比較するための「品質許容度」に基づく新規性能指標を開発。これにより、クラウド固有の制限要因を分離可能にした。
• 特徴量工学とモデル選択を一定に保ちつつ、Azure Machine Learning StudioとAmazon Machine Learningを最上位ランクのKaggleコードと比較する制御実験を実施。
• プライベートテストセットのAUCスコアを用いて相対的性能を測定し、クラウドシステムと専門家ソリューションの直接比較を可能にした。
• ハイパーパrameterチューニングと特徴量工学の影響を別々に分析するため、性能向上の分布をプロットした。
• モデル選択とハイパーパrameterチューニングを分離する手法を採用し、クラウドの能力を公平に評価した。

実験結果

リサーチクエスチョン

• RQ1 機械学習クラウドは、実世界の二値分類タスクにおいて、最良の非宣言的ソリューションと比較してどの程度の性能を示すか？
• RQ2 低品質許容度の状態において、機械学習クラウドと専門家がチューニングしたモデルとの間には、どの程度の性能ギャップが生じるか？
• RQ3 クラウドネイティブなモデル実行と比較して、特徴量工学とハイパーパrameterチューニングが性能向上にどの程度寄与するか？
• RQ4 高レベルの抽象化を提供しているにもかかわらず、なぜ機械学習クラウドは最良のKaggleソリューションに劣るのか？
• RQ5 宣言的MLクラウドにおける性能ギャップを埋めるために、どのようなアーキテクチャ的・アルゴリズム的改善が可能か？

主な発見

• 機械学習クラウドは低品質許容度の状態において顕著に性能が劣っており、最良のKaggleソリューションと比較してAUCスコアで最大15.87%のギャップが生じた。
• アンサンブル手法が不可欠なデータセット（例：D-SCH：15.87%のAUCギャップ、D-VP：14.48%のギャップ）において、性能ギャップが顕著に顕在された。
• 特徴量工学の貢献度がハイパーパrameterチューニングを上回っており、50百分位数での改善は特徴量工学で10% AUC、チューニングで3.37% AUCであった。
• アンサンブル手法のサポート不足が、性能ギャップの主な要因である。最良のKaggleソリューションはこれらの手法を多く採用している。
• 両方のクラウド（AzureおよびAmazon ML）は高品質許容度の状態では妥当な性能を示したが、精度が重要な状況では専門家ソリューションに追いつかなかった。
• 本研究では、現在の宣言的MLクラウドがスタッキングやバギングといった高度な技術を十分に公開・最適化していないことが判明し、高リスク用途への応用可能性が制限されている。