[論文レビュー] Scalable Deployment of AI Time-series Models for IoT

Bradley Eck, Francesco Fusco+3 more|arXiv (Cornell University)|Mar 24, 2020

Time Series Analysis and Forecasting参考文献 8被引用数 5

ひとこと要約

本論文では、IoTアプリケーションにおけるAI時系列モデルのスケーラブルなデプロイメントを実現するクラウドネイティブなシステムであるIBM Research Castorを提示する。サーバessコンピューティングと意味的知識グラフを活用し、数千のモデルを自動的かつ並列に実行可能であり、平均推論遅延が20秒未塔、1時間あたり最大27,600件のモデルスコアリングジョブを処理する。

ABSTRACT

IBM Research Castor, a cloud-native system for managing and deploying large numbers of AI time-series models in IoT applications, is described. Modelling code templates, in Python and R, following a typical machine-learning workflow are supported. A knowledge-based approach to managing model and time-series data allows the use of general semantic concepts for expressing feature engineering tasks. Model templates can be programmatically deployed against specific instances of semantic concepts, thus supporting model reuse and automated replication as the IoT application grows. Deployed models are automatically executed in parallel leveraging a serverless cloud computing framework. The complete history of trained model versions and rolling-horizon predictions is persisted, thus enabling full model lineage and traceability. Results from deployments in real-world smart-grid live forecasting applications are reported. Scalability of executing up to tens of thousands of AI modelling tasks is also evaluated.

研究の動機と目的

• 大規模なIoTシステムにおける数千のAI時系列モデルの手動デプロイと管理の課題に対処すること。
• サーバessクラウドコンピューティングを活用し、自動的かつスケーラブルなAIモデル実行を可能にすること。
• 時系列データとモデルテンプレートの意味的モデリングを通じて、モデルの再利用と自動複製を支援すること。
• モデルバージョンとローリングホライズン予測を永続化することで、完全なモデルラインレージとトレーサビリティを確保すること。
• スマートグリッド予測応用における実世界ワークロードを想定した、システムのスケーラビリティの評価。

提案手法

• マイクロサービスアーキテクチャを採用し、時系列データ管理サービスとモデル管理サービスを別々にサーバessクラウドプラットフォームにデプロイする。
• 時系列データは知識ベースデータストアに格納され、特徴工学とモデル設定のための意味的推論を可能にする。
• モデル実装はPythonまたはRで記述され、PyPIリポジトリにパッケージ化され、特定の意味的インスタンス（例：変電所、建物）に対してプログラム的にデプロイされる。
• モデルスケジューリングはイベント駆動型であり、ユーザーが定義したスケジュールに基づき定期的にチェックされ、学習または推論をトリガーする。
• モデル実行は、2CPUおよび2GB RAMを備えたサーバess関数を活用し、自動並列処理と水平スケーリングが可能である。
• 全モデルラインレージは、すべてのトレーニング済みモデルバージョンとローリングホライズン予測を中央集権データベースに永続化することで保持される。

実験結果

リサーチクエスチョン

• RQ1 生産環境において、数千のIoTエントリティにわたるAI時系列モデルを自動的にデプロイおよびスケーリングする方法は何か？
• RQ2 意味的知識グラフは、IoTアプリケーションにおける再利用可能で組み合わせ可能なモデル実装をどの程度可能にするか？
• RQ3 サーバessでクラウドネイティブなアーキテクチャにおいて、数万件のAIモデル推論ジョブを実行する性能とスケーラビリティはどの程度か？
• RQ4 複数のモデルバージョンと予測において、システムはどのようにモデルラインレージとトレーサビリティを維持するか？
• RQ5 モデル実行のスケーリングにおける実際のパフォーマンスボトルネックは何か、そしてそれらはどのように緩和できるか？

主な発見

• キプロスのスマートグリッド導入において、174のモデルで平均15.9秒のモデルスコアリング時間を達成し、すべてのサイトで20秒未塔の遅延を実現した。
• 175件の並列モデル実行を維持した状態で、1時間あたり27,600件のスコアリングジョブを処理でき、高いスループットとスケーラビリティを示した。
• 175件を超える並列ジョブではパフォーマンス向上が鈍り、200件のジョブではわずか26,700件/時間にとどまり、データベースバックエンドの制限によるパフォーマンスのプラトーが確認された。
• システムは、サイト3で6つのモデル実装から174のモデルを準自動デプロイ可能にした。これは、高いモデル再利用性と設定可能性を示している。
• 全モデルラインレージが保持され、永続化されたローリングウィンドウ予測を用いて、複数の予測ホライズンにおけるモデルパフォーマンスの検証が可能になった。
• システムは、リアルタイムで大規模な予測を実現する可能性を示し、数百の局所的エネルギー需要および発電予測のライブアップデートを可能にした。