[논문 리뷰] GEMEL: Model Merging for Memory-Efficient, Real-Time Video Analytics at the Edge

Arthi Padmanabhan, Neil Agarwal외 6명|arXiv (Cornell University)|2022. 01. 19.

Advanced Neural Network Applications인용 수 9

한 줄 요약

GEMEL은 메모리 효율적인 기술인 모델 병합을 도입하여 엣지 비전 모델 간에 아키텍처가 동일한 레이어를 공유함으로써 GPU 메모리 사용량과 스왑 오버헤드를 줄입니다. 공유 레이어를 식별하고 재학습함으로써 GEMEL은 실시간 비디오 분석에서 시간/공간 공유 전략 대비 최대 60.7%의 메모리 절감과 8–39%의 정확도 향상을 달성합니다.

ABSTRACT

Video analytics pipelines have steadily shifted to edge deployments to reduce bandwidth overheads and privacy violations, but in doing so, face an ever-growing resource tension. Most notably, edge-box GPUs lack the memory needed to concurrently house the growing number of (increasingly complex) models for real-time inference. Unfortunately, existing solutions that rely on time/space sharing of GPU resources are insufficient as the required swapping delays result in unacceptable frame drops and accuracy violations. We present model merging, a new memory management technique that exploits architectural similarities between edge vision models by judiciously sharing their layers (including weights) to reduce workload memory costs and swapping delays. Our system, GEMEL, efficiently integrates merging into existing pipelines by (1) leveraging several guiding observations about per-model memory usage and inter-layer dependencies to quickly identify fruitful and accuracy-preserving merging configurations, and (2) altering edge inference schedules to maximize merging benefits. Experiments across diverse workloads reveal that GEMEL reduces memory usage by up to 60.7%, and improves overall accuracy by 8-39% relative to time/space sharing alone.

연구 동기 및 목표

• 모델 복잡도 증가와 동시에 실행되는 워크로드 증가로 인한 엣지 비디오 분석에서의 증가하는 GPU 메모리 병목 현상을 해결하기 위해.
• 기존의 시간 공유 및 공간 공유 전략의 한계를 극복하기 위해, 높은 스왑 비용으로 인해 프레임 손실과 정확도 저하가 발생하기 때문이다.
• 아키텍처 유사성 기반의 모델 병합을 통해 메모리 프로파일을 줄임으로써 엣지 디바이스에서 효율적이고 실시간 추론을 가능하게 하기 위해.
• 스케줄링 및 모델 배포에 대한 최소한의 변경으로 기존 비디오 분석 파이프라인에 원활하게 통합될 수 있는 시스템을 개발하기 위해.

제안 방법

• 가중치가 다를 수는 있지만 아키텍처가 동일한 레이어(예: 합성곱 블록 등)를 다양한 비전 모델 간에 식별하여 공유할 수 있도록 한다.
• 구조적 분석 및 종속성 분석을 활용하여 정확도를 유지하면서도 메모리 프로파일을 최소화하는 유효한 병합 구성 방식을 탐지한다.
• 모델 간 가중치를 일치시키기 위해 미세조정 전략을 사용하여 공유 레이어를 재학습함으로써 병합 후 정확도를 유지한다.
• 병합 가능성이 높은 워크로드를 우선순위에 두어 공유 레이어의 활용도를 극대화할 수 있도록 엣지 추론 스케줄링을 수정한다.
• 모델별 메모리 사용 패턴과 레이어 간 종속성을 활용하여 빠르고 정확한 병합 구성 선택을 유도한다.
• 실행 시 오버헤드가 최소화되도록 기존 엣지 추론 파이프라인에 병합 로직을 통합하여 실시간 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비전 모델 간 아키텍처 유사성이 엣지 추론에서 메모리 사용량을 얼마나 줄이는 데 활용될 수 있는가?
• RQ2 기존의 시간 공유 또는 공간 공유 전략 대비 모델 병합 전략이 GPU 메모리 프로파일과 스왑 지연을 얼마나 효과적으로 줄이는가?
• RQ3 워크로드 이질성(예: 다양한 모델, 장면, 객체)이 병합 효율성과 메모리 절감에 어떤 영향을 미치는가?
• RQ4 정확도 저하 없이 다양한 모델 패밀리 및 변종 간에도 병합을 적용할 수 있는가?
• RQ5 다양한 실제 비디오 분석 워크로드(혼합된 모델 유형 및 입력 데이터 포함)에서 GEMEL의 병합 전략은 어떻게 확장되는가?

주요 결과

• GEMEL은 아키텍처가 동일한 레이어를 공유함으로써 다양한 비디오 분석 워크로드에서 GPU 메모리 사용량을 최대 60.7%까지 감소시킵니다.
• 2쿼리 워크로드에서 메모리 절감률이 가장 높으며, 이상적인 조건에서 달성 가능한 최적값의 중앙값으로서 89–98%의 절감률을 기록합니다.
• 더 큰 워크로드(최대 5쿼리)에서는 카메라, 객체 또는 장면 유형을 변경해도 메모리 절감률이 약간 감소(0–8%)하여 뛰어난 내구성을 보입니다.
• 모델을 변경할 경우 레이어 위치의 차이로 인해 공유 기회가 줄어들어 메모리 절감률이 2–33% 감소하지만 여전히 높은 수준을 유지합니다.
• 시간 공유 또는 공간 공유 전략 대비 모델 병합은 8–39%의 정확도 향상을 이룹니다. 주로 스왑 지연으로 인한 프레임 손실을 제거함으로써 달성됩니다.
• 특히 동일한 패밀리의 모델 변종 간(예: VGG 또는 ResNet 변종) 병합을 수행할 경우 최대 96.3%의 레이어 공유가 가능하여 매우 효과적입니다.