[论文解读] Automated Machine Learning Service Composition

Felix Mohr, Marcel Wever+1 more|arXiv (Cornell University)|Sep 3, 2018

Service-Oriented Architecture and Web Services参考文献 16被引用 3

一句话总结

本文提出 MLS-Plan，一种基于分层规划的自动化机器学习（Auto-ML）服务组合算法，通过执行过程动态评估流水线质量，而非依赖静态服务质量（QoS）指标。结果表明，通过整合来自多个框架（WEKA 和 scikit-learn）的算法，面向服务的组合方式在复杂的真实世界 Auto-ML 场景中显著优于非服务化方法。

ABSTRACT

Automated service composition as the process of creating new software in an automated fashion has been studied in many different ways over the last decade. However, the impact of automated service composition has been rather small as its utility in real-world applications has not been demonstrated so far. This paper presents ool, an algorithm for automated service composition applied to the area of machine learning. Empirically, we show that ool is competitive and sometimes beats algorithms that solve the same task but not benefit of the advantages of a service model. Thereby, we present a real-world example that demonstrates the utility of automated service composition in contrast to non-service oriented solutions in the same area.

研究动机与目标

• 证明自动化服务组合在真实世界机器学习应用中的实际效用，因为以往方法仅限于玩具示例。
• 通过服务抽象层实现跨框架集成机器学习算法，弥补自动化服务组合中的空白。
• 评估基于服务的组合是否在分类准确率和解决方案多样性方面相比非服务导向的 Auto-ML 工具具有可测量的优势。
• 通过对比 MLS-Plan 在具有和不具有多框架访问能力下的表现，隔离服务化设计对搜索策略的影响。
• 验证执行驱动的质量评估在真实世界 Auto-ML 流水线中的可行性和有效性，尤其是在静态 QoS 指标不可用的情况下。

提出的方法

• MLS-Plan 将机器学习流水线组合问题简化为分层任务规划（HTN），其中复杂任务被递归分解为原子服务操作。
• 规划器使用黑箱目标函数，通过在基准数据上执行候选流水线并测量分类准确率来评估其性能。
• WEKA 和 scikit-learn 中的服务均作为一等组件暴露，支持跨框架的流水线组合。
• 搜索过程由执行后获得的实证性能反馈引导，而非静态 QoS 属性，从而实现对动态、数据依赖性指标的优化。
• 实现了自定义规划器以支持迭代优化和性能反馈，克服了经典规划器在处理动态质量评估时的局限性。
• 该方法支持单库（仅 WEKA 或仅 scikit-learn）和多库（两者）配置，以隔离服务组合带来的优势。

实验结果

研究问题

• RQ1 在真实世界的分类任务中，自动化服务组合能否优于非服务化 Auto-ML 工具？
• RQ2 通过服务抽象将来自多个机器学习框架（如 WEKA 和 scikit-learn）的算法组合，是否能带来更好的流水线性能？
• RQ3 多框架访问带来的更大搜索空间如何影响自动化流水线组合的性能和收敛性？
• RQ4 在 Auto-ML 中，基于执行的质量评估（通过基准运行测量准确率）是否比基于静态 QoS 的优化更有效？
• RQ5 与单体框架解决方案相比，服务化架构在多大程度上提升了所学流水线的多样性和质量？

主要发现

• 当同时访问 WEKA 和 scikit-learn 服务时，MLS-Plan 在多个数据集上显著优于单框架变体，在多个情况下实现了最低的平均误差率。
• 在多个数据集中，基于服务的方法相比非服务化对应方法实现了统计上显著的性能提升，证明了跨框架组合的实际优势。
• 在某些情况下，由于更大的搜索空间需要更长时间才能有效探索，多库版本表现较差，表明解决方案多样性与搜索效率之间存在权衡。
• 总体结果表明，尽管 MLS-Plan 搭载服务并非在所有情况下都占主导地位，但在大量真实世界 Auto-ML 场景中表现最佳。
• 实证评估证实，即使在静态质量指标不可用或不适用的情况下，执行驱动的质量反馈也能实现有效的优化。
• 本研究提供了证据，表明自动化服务组合是真实世界 Auto-ML 中一种可行且有价值的策略，尤其当通过统一服务接口整合异构算法库时。