[论文解读] Automatic composition and optimisation of multicomponent predictive systems

Manuel Martín Salvador, Marcin Budka+1 more|arXiv (Cornell University)|Dec 28, 2016

Business Process Modeling and Analysis被引用 6

一句话总结

本文提出一种基于良好处理且无环工作流（WA-WF）佩特里网来建模数据转换流水线的自动化方法，用于组合与优化多组件预测系统（MCPSs）。通过探索广泛的数据清洗与预处理序列搜索空间，该方法在28个多样化数据集上发现了高性能、可扩展的MCPSs，表明自动化组合显著提升了预测模型的质量与可维护性。

ABSTRACT

Composition and parametrisation of multicomponent predictive systems (MCPSs) consisting of chains of data transformation steps is a challenging task. This paper is concerned with theoretical considerations and extensive experimental analysis for automating the task of building such predictive systems. In the theoretical part of the paper, we first propose to adopt the Well-handled and Acyclic Workflow (WA-WF) Petri net as a formal representation of MCPSs. We then define the optimisation problem in which the search space consists of suitably parametrised directed acyclic graphs (i.e. WA-WFs) forming the sought MCPS solutions. In the experimental analysis we focus on examining the impact of considerably extending the search space resulting from incorporating multiple sequential data cleaning and preprocessing steps in the process of composing optimised MCPSs, and the quality of the solutions found. In a range of extensive experiments three different optimisation strategies are used to automatically compose MCPSs for 21 publicly available datasets and 7 datasets from real chemical processes. The diversity of the composed MCPSs found is an indication that fully and automatically exploiting different combinations of data cleaning and preprocessing techniques is possible and highly beneficial for different predictive models. Our findings can have a major impact on development of high quality predictive models as well as their maintenance and scalability aspects needed in modern applications and deployment scenarios.

研究动机与目标

• 解决涉及顺序数据转换的复杂多组件预测系统（MCPSs）的手动组合挑战。
• 使用良好处理且无环工作流（WA-WF）佩特里网形式化MCPSs，以实现严格建模与优化。
• 探索在搜索空间中引入多个数据清洗与预处理步骤对解决方案质量的影响。
• 评估自动化MCPS组合在多样化真实世界与公开数据集上的有效性。
• 通过完全自动化的系统组合提升预测模型的可扩展性与可维护性。

提出的方法

• 将MCPSs建模为良好处理且无环工作流（WA-WF）佩特里网，以确保数据处理流水线的正确性与无环性。
• 在表示参数化WA-WF结构的有向无环图（DAG）上定义优化问题。
• 采用三种不同的优化策略来搜索可能的MCPS配置空间。
• 将多个顺序数据清洗与预处理步骤整合到搜索空间中，以提升解决方案的多样性与质量。
• 利用21个公开数据集与7个真实化工过程数据集进行大量实验以评估该方法。
• 基于预测性能与结构复杂度评估生成的MCPSs。

实验结果

研究问题

• RQ1 WA-WF佩特里网能否有效表示并约束多组件预测系统的结构？
• RQ2 引入多个顺序数据预处理步骤对所组合MCPSs的质量与多样性有何影响？
• RQ3 自动化优化策略在多数组多样数据集上能多大程度上发现高性能MCPSs？
• RQ4 自动化MCPS组合对模型可扩展性与可维护性有何影响？
• RQ5 不同优化策略在解决方案质量与搜索效率方面如何比较？

主要发现

• WA-WF佩特里网的使用实现了MCPSs的正式化、正确且无环的表示，支持可靠的优化。
• 将搜索空间扩展至包含多个顺序数据清洗与预处理步骤，显著提升了MCPSs的多样性与质量。
• 所提出方法在28个数据集（包括7个真实化工过程数据集）上成功发现有效的MCPSs，表明其具有广泛适用性。
• 所组合系统的多样性表明，对预处理组合的完全自动化探索既可行又具有优势。
• 结果表明，自动化组合可显著提升真实部署场景下的模型质量、可扩展性与可维护性。
• 实验评估证实，优化策略能够有效导航复杂搜索空间，生成高性能的预测流水线。