[論文レビュー] Automatic composition and optimisation of multicomponent predictive systems

Manuel Martín Salvador, Marcin Budka+1 more|arXiv (Cornell University)|Dec 28, 2016

Business Process Modeling and Analysis被引用数 6

ひとこと要約

本論文は、データ変換パイプラインをモデル化するために、Well-handled および Acyclic Workflow (WA-WF) ペトリ・ネットを用いて、多要素予測システム（MCPS）の自動構成および最適化を行うアプローチを提案する。広範なデータクリーニングおよび前処理の順序の探索を通じて、28種類の多様なデータセットにおいて、高性能でスケーラブルなMCPSを発見し、自動構成が予測モデルの品質および保守性を顕著に向上させることを示している。

ABSTRACT

Composition and parametrisation of multicomponent predictive systems (MCPSs) consisting of chains of data transformation steps is a challenging task. This paper is concerned with theoretical considerations and extensive experimental analysis for automating the task of building such predictive systems. In the theoretical part of the paper, we first propose to adopt the Well-handled and Acyclic Workflow (WA-WF) Petri net as a formal representation of MCPSs. We then define the optimisation problem in which the search space consists of suitably parametrised directed acyclic graphs (i.e. WA-WFs) forming the sought MCPS solutions. In the experimental analysis we focus on examining the impact of considerably extending the search space resulting from incorporating multiple sequential data cleaning and preprocessing steps in the process of composing optimised MCPSs, and the quality of the solutions found. In a range of extensive experiments three different optimisation strategies are used to automatically compose MCPSs for 21 publicly available datasets and 7 datasets from real chemical processes. The diversity of the composed MCPSs found is an indication that fully and automatically exploiting different combinations of data cleaning and preprocessing techniques is possible and highly beneficial for different predictive models. Our findings can have a major impact on development of high quality predictive models as well as their maintenance and scalability aspects needed in modern applications and deployment scenarios.

研究の動機と目的

• 順次的データ変換を含む複雑な多要素予測システム（MCPS）を手動で構成する課題に対処すること。
• 厳密なモデリングと最適化を可能にするために、Well-handled および Acyclic Workflow (WA-WF) ペトリ・ネットを用いてMCPSを形式化すること。
• 複数のデータクリーニングおよび前処理ステップを検討する探索空間の拡張が、解決策の品質に与える影響を調査すること。
• 多様な実世界および公開データセットにおける自動MCPS構成の有効性を評価すること。
• 完全自動のシステム構成により、予測モデルのスケーラビリティおよび保守性を向上させること。

提案手法

• データ処理パイプラインにおける正しさと非循環性を保証するため、MCPSをWell-handled および Acyclic Workflow (WA-WF) ペトリ・ネットとしてモデル化すること。
• パrameter化されたWA-WF構造を表す有向非巡回グラフ（DAG）上で最適化問題を定式化すること。
• 複数の異なる最適化戦略を用いて、可能なMCPS構成の探索空間を探索すること。
• 複数の連続的データクリーニングおよび前処理ステップを探索空間に統合し、解決策の多様性と品質を向上させること。
• 21個の公開データセットおよび7つの実際の化学プロセスデータセットを用いた広範な実験により、アプローチを評価すること。
• 予測性能と構造的複雑さに基づいて、得られたMCPSを評価すること。

実験結果

リサーチクエスチョン

• RQ1 WA-WF ペトリ・ネットは、多要素予測システムの構造を効果的に表現し、制限を加えることができるか？
• RQ2 複数の連続的データ前処理ステップを組み込むことで、構成されたMCPSの品質と多様性にどのような影響を与えるか？
• RQ3 自動最適化戦略が、多様なデータセットにおいて、高性能なMCPSをどれほど効果的に発見できるか？
• RQ4 自動MCPS構成が、モデルのスケーラビリティおよび保守性に与える影響は何か？
• RQ5 異なる最適化戦略は、解決策の品質および探索効率の観点から、どのように比較できるか？

主な発見

• WA-WF ペトリ・ネットの使用により、多要素予測システムの形式的で正確かつ非循環的な表現が可能となり、信頼性の高い最適化を支援する。
• 複数の連続的データクリーニングおよび前処理ステップを含む探索空間の拡張により、はるかに多様で高品質なMCPSが得られる。
• 提案手法は、実際の化学プロセスから得た7つのデータセットも含め、28のデータセットすべてで効果的なMCPSを発見でき、広範な適用可能性を示している。
• 構成されたシステムの多様性から、前処理の組み合わせを完全に自動で探索することが現実的でかつ有益であることが明らかになった。
• 実験的評価から、自動構成が実世界の展開環境において、モデル品質、スケーラビリティ、保守性の向上に寄与することが示唆された。
• 実験的評価により、最適化戦略が複雑な探索空間を効果的に探索し、高性能な予測パイプラインを生成できることを確認した。