[論文レビュー] RT-DAP: A Real-Time Data Analytics Platform for Large-scale Industrial Process Monitoring and Control

Song Han, Tao Gong+4 more|arXiv (Cornell University)|Feb 21, 2018

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

RT-DAP は、Microsoft Azure 上の分散時系列データベース、統一メッセージングプロトコル、リアルタイム処理フレームワークを活用して、大規模な産業プロセス監視・制御を目的としたリアルタイムデータ分析プラットフォームである。低遅延のデータストリーミング、集計、可視化を可能にし、適応的バッチ処理により HBase の I/O オーバーヘッドを低減し、最適なキュー設定を用いることで 1000 タグ/秒の処理を 500 秒未塔で達成している。

ABSTRACT

In most process control systems nowadays, process measurements are periodically collected and archived in historians. Analytics applications process the data, and provide results offline or in a time period that is considerably slow in comparison to the performance of the manufacturing process. Along with the proliferation of Internet-of-Things (IoT) and the introduction of "pervasive sensors" technology in process industries, increasing number of sensors and actuators are installed in process plants for pervasive sensing and control, and the volume of produced process data is growing exponentially. To digest these data and meet the ever-growing requirements to increase production efficiency and improve product quality, there needs to be a way to both improve the performance of the analytics system and scale the system to closely monitor a much larger set of plant resources. In this paper, we present a real-time data analytics platform, called RT-DAP, to support large-scale continuous data analytics in process industries. RT-DAP is designed to be able to stream, store, process and visualize a large volume of realtime data flows collected from heterogeneous plant resources, and feedback to the control system and operators in a realtime manner. A prototype of the platform is implemented on Microsoft Azure. Our extensive experiments validate the design methodologies of RT-DAP and demonstrate its efficiency in both component and system levels.

研究の動機と目的

• 産業プロセス制御システムにおけるリアルタイム産業データ生成と遅延の高いオフライン分析の間のギャップを埋める。
• 普及するセンサー情報を利用し、異種のプラントリソースのスケーラブルかつリアルタイムの監視・制御を可能にする。
• 高速度の時系列産業データを処理する際の従来のヒストリアンおよび汎用プラットフォームの限界を克服する。
• データインジェスト、ストレージ、処理、可視化を統合したスケーラブルで低遅延の分析スタックを設計する。
• リアルタイム分析と制御システムの間のフィードバックループを閉じ、プロセスの効率性、安全性、製品品質を向上させる。

提案手法

• 多様なプラントリソースからのリアルタイムデータインジェストを標準化するための統一メッセージングプロトコルの設計。
• 高スルーレート、低遅延の時系列データストレージおよびクエリ処理に最適化された分散時系列データベース（HBase ベース）の実装。
• プロセス分析のためのデータおよび制御フローパイプラインを設計するためのアナリティクスモデル開発スタジオ（MDS）の開発。
• HBase の I/O 操作と遅延を削減するための適応的バッチ処理を備えたエラスティックなリアルタイム処理エンジン（Storm）との統合。
• Minnowboard に軽量な IIoT フィールドゲートウェイ（IIoT-FG）をデプロイし、異種のセンサーおよびアクチュエータをプラットフォームに接続。
• 自己適応キューイングを備えた二スレッド型 Spout アーキテクチャを採用し、データ集約におけるスループットと遅延のバランスを最適化。

実験結果

リサーチクエスチョン

• RQ1 大規模な産業プラントからの高速度かつ異種の時系列データを処理できるリアルタイム分析プラットフォームは、どのようにアーキテクチャ設計されるべきか？
• RQ2 継続的なデータ集約処理において、時系列データベースの I/O オーバーヘッドを最小限に抑えるための設計パターンは何か？
• RQ3 バッチ処理と適応的キューイングは、産業分析ワークロードにおけるリアルタイムストリーム処理のパフォーマンスをどのように向上させるか？
• RQ4 Microsoft Azure のようなクラウドプラットフォームは、産業プロセス制御の低遅延かつスケーラブルな分析をどの程度サポートできるか？
• RQ5 フィールドゲートウェイとリアルタイム処理フレームワークの統合により、分析と制御意思決定の間のループを効果的に閉じられるか？

主な発見

• 最適なキュー設定を用いる場合、RT-DAP プラットフォームは 1000 タグ/秒のデータストリームに対してエンドツーエンド処理時間を 500 秒未塔で達成した。
• HBase の書き込みおよびスキャン操作が処理時間の大部分を占めており、データ集約タスクにおける主な遅延要因であった。
• キューの最大サイズを 20 から 200 に増加させることで、HBase の書き込み時間が顕著に短縮され、システムスループットが向上し、遅延が低減した。
• キューサイズが 160 を超えた場合、平均実行キューサイズは最大値以下に安定化し、効果的な負荷分散が実現された。
• 1200 タグ/秒を超えるデータレートでは、処理時間が 500 秒のテストウィンドウを超過したため、システムはデータの処理を追いつかなかった。
• 適応的バッチ処理により、複数のレコードを一度のバッチで処理することで HBase アクセス頻度が低下し、I/O 効率が向上したが、リアルタイム応答性は損なわれなかった。