[論文レビュー] Cloud Process Execution Engine: Architecture and Interfaces

Juergen Manger, Stefanie Rinderle‐Ma|arXiv (Cornell University)|Aug 25, 2022

Cloud Computing and Resource Management被引用数 10

ひとこと要約

本論文では、クラウド、エッジ、IoT環境におけるスケーラブルで低コードなBPMN実行を可能にする、画期的で分散型のオープンソースプロセス実行エンジンであるCloud Process Execution Engine (CPEE.org) を提示する。このエンジンはトランスパイルとREST/SSEベースのイベントストリーミングを活用し、モジュラーでサービス指向のアーキテクチャにより、リアルタイム監視、動的インスタンス適応、外部サービスとの最小インターフェースを介したシームレス統合を実現する。

ABSTRACT

Process Execution Engines are a vital part of Business Process Management (BPM) and Manufacturing Orchestration Management (MOM), as they allow the business or manufacturing logic (expressed in a graphical notation such as BPMN) to be executed. This execution drives and supervises all interactions between humans, machines, software, and the environment. If done right, this will lead to a highly flexible, low-code, and easy to maintain solution, that allows for ad-hoc changes and functional evolution, as well as delivering a wealth of data for data-science applications. The Cloud Process Execution Engine CPEE.org implements a radically distributed scale-out architecture, together with a minimal set of interfaces, to allow for the simplest possible integration with existing services, machines, and existing data-analysis tools. Its open-source components can serve as a blueprint for future development of commercial solutions, and serves as a proven testbed for academic research, teaching, and industrial application since 2008. In this paper we present the architecture, interfaces that make CPEE.org possible, as well as discuss different lifecycle models utilized during execution to provide overarching support for a wide range of data-analysis tasks.

研究の動機と目的

• リアルタイム監視、動的インスタンス適応、外部サービスとのシームレス統合をサポートする、高スケーラビリティで分散型のプロセス実行エンジンを設計すること。
• BPMNを用いた低コードでモデルベースのプロセス実行を可能にしつつ、研究および産業用途におけるモularityと拡張性を維持すること。
• 集中型およびフェデレーテッドデプロイメントを両方サポートする、本番環境対応のオープンソースプラットフォームを提供すること。
• 教職、研究、システム監査のために、すべての内部コンポONENTを標準化されたRESTおよびSSEインターフェースで公開すること。
• コアエンジンを変更せずに、外部サービス統合を通じてライフサイクル管理、バージョニング、自己修復メカニズムを実現すること。

提案手法

• CPEE.orgエンジンは、BPMNモデルを低レベルの実行可能コードに変換するトランスパイルベースのアーキテクチャを採用しており、インスタンスごとのインタプリタのオーバーヘッドを回避する。
• Redisをメモリ内データベースとして用い、Pub/Subメカニズムを活用して、イベント、ライフサイクル状態、投票を分散コンポONENT間でストリーミング送信する。
• 内部サービス（永続性実装（PI）、イベント配信（EDI）、投票配信（VDI）、コールバックエンド（CEI）、RESTサービス（RS））は非同期で分離され、イベントストリームを通じて通信する。
• RESTサービス（RS）は中央制御インターフェースとして機能し、すべてのコマンドをPub/Subシステムに転送し、リアルタイムUI更新を実現するためのHTTPプッシュおよびServer-Sent Events（SSE）を両方サポートする。
• 本システムは2つのデプロイメントモデルをサポートする：分散型（クラスタードRedis、ロードバランシングされたインスタンス）およびフェデレーテッド型（複数の独立したPEが操作インターフェースを介して通信）。
• すべてのコンポonentは標準化されたRESTおよびSSEインターフェースを介して公開され、エンジンコアを変更せずに外部サービスが機能を拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 スケールアウトと分散型実行を実現しつつ、低遅延と高可用性を維持するためのプロセス実行エンジンのアーキテクチャ設計はどのように行えるか？
• RQ2 外部サービス（例：データ分析、人間タスク）の統合をシームレスに実現するためのアーキテクチャパターンは何か？ これはエンジンの内部構造を深く変更する必要がない。
• RQ3 分散型でイベント駆動のシステムにおいて、プロセスインスタンスのリアルタイム監視とライフサイクル管理はどのように達成できるか？
• RQ4 外部サービスのコンpositionを通じて、アドホックなインスタンス変更、モデルバージョニング、自己修復がどの程度実現可能か？
• RQ5 大規模プロセス実行において、パフォーマンスとメモリ効率の観点から、インタプリタ方式に代えてトランスパイル方式を採用する利点は何か？

主な発見

• トランスパイルベースのアーキテクチャにより、従来のインタプリタベースのエンジンと比較して、インスタンスごとのインタプリタのオーバーヘッドが完全に排除され、メモリ消費量が顕著に削減された。
• Redisを共有メモリ内データベースとして使用することで、分散ノード間での効率的かつ低遅延なイベント配信と状態同期が実現された。
• イベント駆動型でサービス指向の設計により、SSEベースのUIを通じてプロセスインスタンスの動的でリアルタイムの監視が可能となり、イベントが公開される度に更新が即座に反映された。
• 集中型およびフェデレーテッドデプロイメントの両方をサポートしており、複数の独立したプロセスエンジンが標準化された操作インターフェースを介して相互に連携可能なエッジおよびIoT環境での利用が可能となった。
• モジュラーでインターフェース駆動の設計により、完全な拡張性が実現された：BPMNのすべての意味論をエンジンコアを変更せずに、外部RESTサービスでカスタマイズ可能である。
• 2008年から継続的にメンテナンスされており、学術的・産業的応用の両方で使用されており、長期的な安定性と実用的スケーラビリティが裏付けられた。