[論文レビュー] GEMEL: Model Merging for Memory-Efficient, Real-Time Video Analytics at the Edge

Arthi Padmanabhan, Neil Agarwal+6 more|arXiv (Cornell University)|Jan 19, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

GEMEL は、エッジビジョンモデル間でアーキテクチャが同一のレイヤーを共有することで、GPUメモリ使用量とスワッピングのオーバーヘッドを低減するメモリ効率の良い技術、モデルマージを導入する。共有レイヤーを特定・再訓練することで、リアルタイムのビデオ分析において、GPUメモリ使用量を最大60.7％削減し、時間的・空間的共有と比較して8–39％の精度向上を達成する。

ABSTRACT

Video analytics pipelines have steadily shifted to edge deployments to reduce bandwidth overheads and privacy violations, but in doing so, face an ever-growing resource tension. Most notably, edge-box GPUs lack the memory needed to concurrently house the growing number of (increasingly complex) models for real-time inference. Unfortunately, existing solutions that rely on time/space sharing of GPU resources are insufficient as the required swapping delays result in unacceptable frame drops and accuracy violations. We present model merging, a new memory management technique that exploits architectural similarities between edge vision models by judiciously sharing their layers (including weights) to reduce workload memory costs and swapping delays. Our system, GEMEL, efficiently integrates merging into existing pipelines by (1) leveraging several guiding observations about per-model memory usage and inter-layer dependencies to quickly identify fruitful and accuracy-preserving merging configurations, and (2) altering edge inference schedules to maximize merging benefits. Experiments across diverse workloads reveal that GEMEL reduces memory usage by up to 60.7%, and improves overall accuracy by 8-39% relative to time/space sharing alone.

研究の動機と目的

• モデルの複雑化と同時に実行されるワークロードの増加により深刻化するエッジビデオ分析におけるGPUメモリボトルネックを解消すること。
• 時間共有や空間共有の従来手法に起因するスワッピングコストの高さによるフレームドロップや精度損失の限界を克服すること。
• アーキテクチャの類似性に基づくモデルマージにより、メモリフットプリントを低減することで、エッジデバイスでの効率的でリアルタイムの推論を可能にすること。
• スケジューリングやモデルデプロイメントの変更を最小限に抑え、既存のビデオ分析パイプラインにスムーズに統合可能なシステムの開発

提案手法

• 重みが異なる場合でも、重みを共有可能なアーキテクチャ的に同一のレイヤー（例：畳み込みブロック）を複数のビジョンモデル間で特定する。
• 構造的および依存関係解析を用いて、モデルの精度を保持しつつメモリフットプリントを最小限に抑えるマージ可能な構成を同定する。
• 微調整戦略を用いて共有レイヤーを再訓練し、複数のモデル間で重みを整合させ、マージ後の精度を維持する。
• マージ可能性の高いワークロードを優先するようにエッジ推論スケジューリングを変更し、共有レイヤーの利用度を最大化する。
• 各モデルのメモリ使用パターンとレイヤー間依存関係を活用して、高速かつ正確なマージ構成選択を支援する。
• 実行時オーバーヘッドを最小限に抑え、既存のエッジ推論パイプラインにマージロジックを統合し、リアルタイムデプロイメントを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ビジョンモデル間のアーキテクチャ的類似性をどれだけ活用してエッジ推論におけるメモリ使用量を削減できるか？
• RQ2 従来の時間的・空間的共有戦略と比較して、モデルマージはGPUメモリフットプリントとスワッピング遅延の削減においてどの程度効果的か？
• RQ3 ワークロードの多様性（異なるモデル、シーン、物体など）がマージ効率およびメモリ削減に与える影響は何か？
• RQ4 異なるモデルファミリーおよびバージョン間でも、顕著な精度低下を伴わずにマージを適用できるか？
• RQ5 混合されたモデルタイプと入力データを持つ多様で現実的なビデオ分析ワークロードにおいて、GEMELのマージ戦略はどのようにスケーリングするか？

主な発見

• GEMEL は、アーキテクチャ的に同一のレイヤーを共有することで、多様なビデオ分析ワークロードにおいて、GPUメモリ使用量を最大60.7％削減する。
• 2クエリワークロードでは、理想状態下での最適値に比べ、中央値として89–98％のメモリ削減が達成される。
• より大きなワークロード（最大5クエリ）では、カメラ、物体、またはシーンの種別が変化しても、メモリ削減がわずかに低下（0–8％）するが、依然として高い耐性を示す。
• モデルの変更に伴い、レイヤーの位置が異なると、メモリ削減が2–33％低下するが、依然として顕著な削減効果が得られる。
• 時間的・空間的共有のみと比較して、モデルマージにより全体の精度が8–39％向上する。主な要因は、スワッピング遅延に起因するフレームドロップの削減である。
• 特に同じファミリー（例：VGG や ResNet バリエーション）のモデル間でマージを行う場合に、最大96.3％のレイヤー共有が可能となり、特に効果的である。