[論文レビュー] Ekya: Continuous Learning of Video Analytics Models on Edge Compute Servers

Romil Bhardwaj, Zhengxu Xia+7 more|arXiv (Cornell University)|Dec 19, 2020

Advanced Neural Network Applications参考文献 57被引用数 21

ひとこと要約

Ekyaは、推論と再訓練ワークロードを共同最適化することで、エッジサーバー上でビデオアナリティクスモデルの連続的学習を可能にするシステムである。マイクロプロファイラとパフォーマンス推定器を用いて再訓練タスクの優先順位を付け、GPUリソースを割り当てることで、ベースラインと比較して平均推論精度を29%向上させながら、GPUリソースを4倍も削減した。

ABSTRACT

Video analytics applications use edge compute servers for the analytics of the videos (for bandwidth and privacy). Compressed models that are deployed on the edge servers for inference suffer from data drift, where the live video data diverges from the training data. Continuous learning handles data drift by periodically retraining the models on new data. Our work addresses the challenge of jointly supporting inference and retraining tasks on edge servers, which requires navigating the fundamental tradeoff between the retrained model's accuracy and the inference accuracy. Our solution Ekya balances this tradeoff across multiple models and uses a micro-profiler to identify the models that will benefit the most by retraining. Ekya's accuracy gain compared to a baseline scheduler is 29% higher, and the baseline requires 4x more GPU resources to achieve the same accuracy as Ekya.

研究の動機と目的

• 変化する動画特性に起因するデータドリフトの影響を受けるエッジビデオアナリティクスシステムにおいて、高い推論精度を維持する課題に対処すること。
• リソース制約のあるエッジサーバーにおいて、再訓練の精度と推論精度のトレードオフを最適化すること。
• モデル選択、リソース割り当て、ハイパーパramータ設定を含む、再訓練と推論のスケジューリングを共同で最適化すること。
• 再訓練中でさえも、常に最小限の推論精度を維持すること。
• 複数の動画ストリームにわたる再訓練ウィンドウ全体で、平均推論精度を最大化すること。

提案手法

• データドリフトとパフォーマンストレンドに基づき、どのモデルが再訓練によって最も利益を得るかを特定するマイクロプロファイラを導入する。
• 低コストで実行可能なパフォーマンス推定器を採用し、さまざまな再訓練および推論設定の精度とリソース使用量を予測する。
• 膨大な意思決定空間を縮小し、高インパクトな再訓練タスクに焦点を当てるリソーススケジューラを採用する。
• トランスファー学習やインクリメンタルトレーニングなどの連続的学習技術を適用し、災難的忘却を回避しながら新しいデータにモデルを適応させる。
• リソース単位あたりの精度向上が最大となる再訓練ジョブを優先することで、複数のモデルにおけるスケジューリングを最適化する。
• システムの信頼性を確保するため、最小限の推論精度制約を強制する。

実験結果

リサーチクエスチョン

• RQ1 ライブ動画データがトレーニングデータと乖離するデータドリフトが生じる状況において、エッジビデオアナリティクスシステムはどのように高い推論精度を維持できるか？
• RQ2 リソース制約のあるエッジサーバーにおいて、再訓練精度と推論精度の最適なトレードオフは何か？
• RQ3 高次元の意思決定空間を考慮すると、どのモデルを再訓練し、どの設定を使用するかを効率的に選択するにはどうすればよいか？
• RQ4 軽量なパフォーマンス推定器とマイクロプロファイラは、再訓練のオーバーヘッドを低減させつつ、全体のシステム精度を向上させることができるか？
• RQ5 精度とリソース効率の観点から、共同スケジューリングアプローチは、ベースラインスケジューラをどの程度上回ることができるか？

主な発見

• Ekyaは、知的な優先順位付けを用いないベースラインスケジューラと比較して、平均推論精度を29%向上させた。
• ベースラインスケジューラは、Ekyaと同等の推論精度を達成するためには、GPUリソースを4倍も必要とした。これは、Ekyaの優れたリソース効率を示している。
• マイクロプロファイラは、再訓練の恩恵を最も受ける可能性が高いモデルを的確に特定し、低インパクトなモデルに対する無駄な計算を削減した。
• パフォーマンス推定器により、最小限のランタイムオーバーヘッドで再訓練の結果を正確に予測でき、リアルタイムスケジューリングが可能になった。
• Ekyaは再訓練ウィンドウ全体を通じて推論精度を最小限のしきい値以上に維持し、アプリケーションの信頼性を確保した。
• 本システムは、オブジェクトの外観や環境条件が顕著に変化する都市交通やスマートカーのシナリオを含む、多様な動画ストリームにおけるデータドリフトを効果的に処理できた。