[論文レビュー] Continual-Learning-as-a-Service (CLaaS): On-Demand Efficient Adaptation of Predictive Models

Rudy Semola, Vincenzo Lomonaco+1 more|arXiv (Cornell University)|Jun 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、継続的学習（CL）戦略を用いて、オンデマンドで効率的かつステートフルなモデル適応を可能にする、MLOps対応のソフトウェアサービスパラダイム「継続的学習サービス（CLaaS）」を紹介する。CLaaSは、マイクロサービスアーキテクチャに基づくシステム「継続的ブレイン（Continual Brain）」を介して実装されており、従来の累積的再訓練に比べて、トレーニング時間とメモリ使用量を最大8倍まで削減し、実世界のビジョン認識およびファッション認識タスクにおいて顕著な効率性向上を示している。

ABSTRACT

Predictive machine learning models nowadays are often updated in a stateless and expensive way. The two main future trends for companies that want to build machine learning-based applications and systems are real-time inference and continual updating. Unfortunately, both trends require a mature infrastructure that is hard and costly to realize on-premise. This paper defines a novel software service and model delivery infrastructure termed Continual Learning-as-a-Service (CLaaS) to address these issues. Specifically, it embraces continual machine learning and continuous integration techniques. It provides support for model updating and validation tools for data scientists without an on-premise solution and in an efficient, stateful and easy-to-use manner. Finally, this CL model service is easy to encapsulate in any machine learning infrastructure or cloud system. This paper presents the design and implementation of a CLaaS instantiation, called LiquidBrain, evaluated in two real-world scenarios. The former is a robotic object recognition setting using the CORe50 dataset while the latter is a named category and attribute prediction using the DeepFashion-C dataset in the fashion domain. Our preliminary results suggest the usability and efficiency of the Continual Learning model services and the effectiveness of the solution in addressing real-world use-cases regardless of where the computation happens in the continuum Edge-Cloud.

研究の動機と目的

• 産業的MLデプロイメントにおけるスケーラブルで効率的かつ使いやすい継続的学習インfraの不足に対処すること。
• 研究指向の継続的学習と、動的で非定常な環境における実世界のMLOpsワークフローの間のギャップを埋めること。
• 継続的学習の深い専門知識を必要とせずに、低コストでステートフルなモデル更新を可能にすること。
• エッジからクラウドに至るコンピューティング環境において、リアルタイム推論と継続的なモデル適応をサポートすること。

提案手法

• 継続的学習をCI/CDパイプラインと統合するサービス指向のパラダイムとしてCLaaSを設計すること。
• CLaaSのマイクロサービスアーキテクチャベースの実装として、モジュラリティとスケーラビリティを向上させるためにAvalancheフレームワークを拡張した「継続的ブレイン（Continual Brain）」を実装すること。
• 固定メモリバッファを用いたリプレイベースのCL戦略を採用し、深刻な忘却を抑制しながら推論効率を維持すること。
• CI/CDパイプラインを通じた自動化されたモデル再トレーニングと検証を実現し、フル再トレーニングを必要とせずにオンデマンドでステートフルな更新を可能にすること。
• CORe50（物体認識）およびDeepFashion-C（ファッション属性およびカテゴリ予測）の2つの実世界データセットを用いてCLaaSのベンチマークを実施すること。
• パフォーマンスと効率のトレードオフを最適化するため、ハイパーパrameterを設定した。具体的には、CORe50ではmemory_size = 5000、DeepFashion-Cではmemory_size = 15000とした。

実験結果

リサーチクエスチョン

• RQ1 サービス指向のCLaaSアーキテクチャは、実世界のMLアプリケーションにおいて、オンデマンドで効率的かつステートフルなモデル適応を効果的にサポートできるか？
• RQ2 CLaaSは、累積的再訓練と比較して、トレーニング時間、メモリ使用量、予測パフォーマンスの観点でどのように差をつけるか？
• RQ3 CLaaSは、エッジからクラウドに至る展開において、既存のMLOpsおよびMLサービングシステムにどの程度統合可能か？
• RQ4 非定常なデータ環境において、CLaaSは計算コストとメモリコストを顕著に削減しながらも、高い予測精度を維持できるか？

主な発見

• DeepFashion-Cデータセットにおいて、リプレイCL戦略は、累積的再訓練と比較して、9つの経験に対して最大6倍、10つの経験に対して最大8倍のトレーニング時間とメモリ使用量の削減を達成した。
• CORe50データセットでは、CLベースの戦略が、上界に近い予測パフォーマンスを達成しながら、計算コストを顕著に削減した。
• リプレイCL戦略のトレーニング時間は、経験数の増加に伴って安定しており、スケーラビリティと効率性が裏付けられた。
• CLaaSアーキテクチャにより、フル再トレーニングを必要とせずに、効率的で自動的かつ再現可能なモデル更新が可能となり、産業的MLOpsパイプラインへの実用性が示された。
• 本システムは、ロボットによる物体認識およびファッション属性予測の2つの実世界分野に成功裏にデプロイ・評価され、実用性が確認された。
• CLaaSは、既存のMLサービングシステムおよびMLOpsツールキットとの統合がスムーズであり、エッジおよびクラウドデプロイメントの両方のシナリオをサポートした。