[논문 리뷰] Automatic composition and optimisation of multicomponent predictive systems

Manuel Martín Salvador, Marcin Budka외 1명|arXiv (Cornell University)|2016. 12. 28.

Business Process Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 데이터 변환 파이프라인을 모델링하기 위해 Well-handled 및 Acyclic Workflow (WA-WF) Petri 넷을 사용하여 다중 구성 요소 예측 시스템(MCPSs)의 자동 조합 및 최적화를 제안한다. 다양한 데이터 정제 및 전처리 순서의 광범위한 검색 공간을 탐색함으로써, 28개의 다양한 데이터셋에서 높은 성능을 보이며 확장 가능한 MCPSs를 발견하였으며, 이는 자동 조합 기법이 예측 모델의 품질과 유지보수성에 크게 기여함을 보여준다.

ABSTRACT

Composition and parametrisation of multicomponent predictive systems (MCPSs) consisting of chains of data transformation steps is a challenging task. This paper is concerned with theoretical considerations and extensive experimental analysis for automating the task of building such predictive systems. In the theoretical part of the paper, we first propose to adopt the Well-handled and Acyclic Workflow (WA-WF) Petri net as a formal representation of MCPSs. We then define the optimisation problem in which the search space consists of suitably parametrised directed acyclic graphs (i.e. WA-WFs) forming the sought MCPS solutions. In the experimental analysis we focus on examining the impact of considerably extending the search space resulting from incorporating multiple sequential data cleaning and preprocessing steps in the process of composing optimised MCPSs, and the quality of the solutions found. In a range of extensive experiments three different optimisation strategies are used to automatically compose MCPSs for 21 publicly available datasets and 7 datasets from real chemical processes. The diversity of the composed MCPSs found is an indication that fully and automatically exploiting different combinations of data cleaning and preprocessing techniques is possible and highly beneficial for different predictive models. Our findings can have a major impact on development of high quality predictive models as well as their maintenance and scalability aspects needed in modern applications and deployment scenarios.

연구 동기 및 목표

• 순차적인 데이터 변환을 포함하는 복잡한 다중 구성 요소 예측 시스템(MCPSs)을 수동으로 조합하는 데 도전하는 것.
• 엄밀한 모델링과 최적화를 위해 다중 구성 요소 예측 시스템을 Well-handled 및 Acyclic Workflow (WA-WF) Petri 넷으로 형식화하는 것.
• 다양한 데이터 정제 및 전처리 단계를 검색 공간에 추가함으로써 해법 품질에 미치는 영향을 탐색하는 것.
• 다양한 실제 및 공개 데이터셋에서 자동 MCPS 조합의 효과성을 평가하는 것.
• 완전히 자동화된 시스템 조합을 통해 예측 모델의 확장성과 유지보수성을 향상시키는 것.

제안 방법

• 정확성과 비순환성을 보장하기 위해 MCPSs를 Well-handled 및 Acyclic Workflow (WA-WF) Petri 넷으로 모델링하여 데이터 처리 파이프라인의 구조를 정의한다.
• 매개변수화된 WA-WF 구조를 나타내는 방향성 비순환 그래프(DAG)에 기반한 최적화 문제를 정의한다.
• 가능한 MCPS 구성의 공간을 탐색하기 위해 세 가지 서로 다른 최적화 전략을 적용한다.
• 해결책의 다양성과 품질을 향상시키기 위해 검색 공간에 다중 순차적 데이터 정제 및 전처리 단계를 통합한다.
• 21개의 공개 데이터셋과 7개의 실제 화학 공정 데이터셋을 대상으로 광범위한 실험을 수행하여 접근 방식을 평가한다.
• 예측 성능과 구조적 복잡성 기반으로 도출된 MCPSs를 평가한다.

실험 결과

연구 질문

• RQ1 WA-WF Petri 넷은 다중 구성 요소 예측 시스템의 구조를 효과적으로 표현하고 제약 조건을 설정할 수 있는가?
• RQ2 다양한 순차적 데이터 전처리 단계를 통합함으로써 조합된 MCPSs의 품질과 다양성은 어떻게 영향을 받는가?
• RQ3 자동 최적화 전략이 다양한 데이터셋에서 높은 성능을 보이는 MCPSs를 얼마나 잘 발견할 수 있는가?
• RQ4 자동 MCPS 조합은 모델의 확장성과 유지보수성에 어떤 영향을 미치는가?
• RQ5 다양한 최적화 전략은 해법 품질과 탐색 효율성 측면에서 어떻게 상호 비교되는가?

주요 결과

• WA-WF Petri 넷의 사용은 다중 구성 요소 예측 시스템에 대해 공식적이고 정확하며 비순환적인 표현을 가능하게 하여 신뢰할 수 있는 최적화를 지원한다.
• 다양한 순차적 데이터 정제 및 전처리 단계를 검색 공간에 확장함으로써 훨씬 더 다양한 고성능의 MCPSs를 도출할 수 있었다.
• 제안된 방법은 실제 화학 공정에서 온 7개 데이터셋 포함 총 28개 데이터셋에서 효과적인 MCPSs를 성공적으로 발견하여 광범위한 적용 가능성을 입증하였다.
• 조합된 시스템의 다양성은 전처리 조합의 완전 자동 탐색이 실현 가능하고 유익함을 보여준다.
• 실험 결과는 자동 조합이 실제 배포 환경에서 모델 품질, 확장성, 유지보수성을 향상시킬 수 있음을 시사한다.
• 실험적 평가 결과, 최적화 전략이 복잡한 검색 공간을 효과적으로 탐색하여 고성능 예측 파이프라인을 생성할 수 있음을 확인하였다.