[论文解读] MLBench: How Good Are Machine Learning Clouds for Binary Classification Tasks on Structured Data?

Yu Liu, Hantian Zhang+3 more|arXiv (Cornell University)|Jul 29, 2017

Machine Learning and Data Classification参考文献 18被引用 9

一句话总结

该论文通过mlbench（一个包含Kaggle竞赛数据集及其顶尖解决方案的基准测试集）评估了Azure Machine Learning Studio与Amazon Machine Learning在真实世界二分类任务中的性能表现。结果表明，尽管在高质量容忍度较高的情况下机器学习云平台表现尚可，但在低容忍度环境下显著落后，主要由于对集成方法和高级超参数调优支持有限，凸显了当前声明式机器学习云抽象中的关键差距。

ABSTRACT

We conduct an empirical study of machine learning functionalities provided by major cloud service providers, which we call machine learning clouds. Machine learning clouds hold the promise of hiding all the sophistication of running large-scale machine learning: Instead of specifying how to run a machine learning task, users only specify what machine learning task to run and the cloud figures out the rest. Raising the level of abstraction, however, rarely comes free - a performance penalty is possible. How good, then, are current machine learning clouds on real-world machine learning workloads? We study this question with a focus on binary classication problems. We present mlbench, a novel benchmark constructed by harvesting datasets from Kaggle competitions. We then compare the performance of the top winning code available from Kaggle with that of running machine learning clouds from both Azure and Amazon on mlbench. Our comparative study reveals the strength and weakness of existing machine learning clouds and points out potential future directions for improvement.

研究动机与目标

• 评估现代机器学习云平台在真实世界二分类工作负载中的支持能力。
• 识别声明式机器学习云平台与专家调优的非声明式系统相比的性能瓶颈。
• 建立一个基于真实世界数据集及Kaggle竞赛中顶尖解决方案的基准测试。
• 通过一种新颖的“质量容忍度”度量指标，将特征工程与超参数调优的影响与云平台性能相隔离。
• 通过识别关键局限性，为未来机器学习云抽象的改进提供指导。

提出的方法

• 提出mlbench，一个由Kaggle竞赛中的真实世界数据集组成的新型基准测试，每个数据集均配有基于最佳努力的基线解决方案，包含特征工程与模型选择。
• 开发了一种基于“质量容忍度”的新颖性能度量指标，用于将云平台性能与顶尖Kaggle解决方案进行比较，从而隔离出云平台特有的限制。
• 通过受控实验，将Azure Machine Learning Studio与Amazon Machine Learning与顶尖Kaggle代码进行对比，保持特征工程与模型选择不变。
• 使用私有测试集的AUC分数来衡量相对性能，从而实现云平台系统与专家解决方案之间的直接比较。
• 通过绘制性能提升分布图，分别分析超参数调优与特征工程的影响。
• 采用一种将模型选择与超参数调优解耦的方法，以公平评估云平台能力。

实验结果

研究问题

• RQ1 在真实世界二分类任务中，机器学习云平台相对于顶尖非声明式解决方案的性能表现如何？
• RQ2 在低质量容忍度环境下，机器学习云平台与专家调优模型之间的性能差距有多大？
• RQ3 与原生云平台模型执行相比，特征工程与超参数调优对性能提升的贡献程度如何？
• RQ4 尽管提供了高层抽象，为何机器学习云平台在性能上仍落后于顶尖Kaggle解决方案？
• RQ5 哪些架构或算法改进可缩小声明式机器学习云平台的性能差距？

主要发现

• 在低质量容忍度环境下，机器学习云平台性能显著落后，与顶尖Kaggle解决方案相比，AUC得分差距最高达15.87%。
• 性能差距在D-SCH（AUC差距15.87%）与D-VP（AUC差距14.48%）等数据集中尤为明显，这些数据集对集成方法依赖度极高。
• 特征工程对性能提升的贡献大于超参数调优，特征工程的第50百分位数提升为10% AUC，而调优仅为3.37% AUC。
• 缺乏对集成方法的支持是性能差距的主要原因，因为顶尖Kaggle解决方案高度依赖此类方法。
• Azure与Amazon ML云平台在高质量容忍度下表现尚可，但在对精度要求较高的场景下无法匹配专家解决方案。
• 本研究发现，当前声明式机器学习云平台未能充分暴露或优化诸如堆叠（stacking）或袋装（bagging）等高级技术，限制了其在高风险应用场景中的实用性。