[논문 리뷰] Ekya: Continuous Learning of Video Analytics Models on Edge Compute Servers

Romil Bhardwaj, Zhengxu Xia외 7명|arXiv (Cornell University)|2020. 12. 19.

Advanced Neural Network Applications참고 문헌 57인용 수 21

한 줄 요약

Ekya는 추론 및 재학습 워크로드를 공동 최적화하여 엣지 서버에서 영상 분석 모델의 지속적 학습을 가능하게 하는 시스템이다. 마이크로 프로파일러와 성능 예측기로 재학습 작업을 우선순위 정하고 GPU 자원을 할당함으로써, 기준 대비 평균 추론 정확도는 29% 높이고 GPU 자원 사용은 4배 줄였다.

ABSTRACT

Video analytics applications use edge compute servers for the analytics of the videos (for bandwidth and privacy). Compressed models that are deployed on the edge servers for inference suffer from data drift, where the live video data diverges from the training data. Continuous learning handles data drift by periodically retraining the models on new data. Our work addresses the challenge of jointly supporting inference and retraining tasks on edge servers, which requires navigating the fundamental tradeoff between the retrained model's accuracy and the inference accuracy. Our solution Ekya balances this tradeoff across multiple models and uses a micro-profiler to identify the models that will benefit the most by retraining. Ekya's accuracy gain compared to a baseline scheduler is 29% higher, and the baseline requires 4x more GPU resources to achieve the same accuracy as Ekya.

연구 동기 및 목표

• 변화하는 영상 특성으로 인한 데이터 드프트로 인해 영향을 받는 엣지 영상 분석 시스템에서 높은 추론 정확도를 유지하는 데 도전한다.
• 자원이 제한된 엣지 서버에서 재학습 정확도와 추론 정확도 사이의 트레이드오프를 균형 잡는다.
• 모델 선택, 자원 할당, 하이퍼파라미터 설정을 포함한 재학습 및 추론 스케줄링을 공동 최적화한다.
• 재학습 기간 동안에도 항상 최소 기준 이상의 추론 정확도를 유지한다.
• 다중 영상 스트림에 걸쳐 재학습 윈도우 동안 평균 추론 정확도를 최대화한다.

제안 방법

• 데이터 드프트와 성능 추세를 기반으로 어떤 모델이 재학습에서 가장 많은 이익을 볼 수 있는지 식별하기 위해 마이크로 프로파일러를 도입한다.
• 낮은 오버헤드로 다양한 재학습 및 추론 구성의 정확도와 자원 사용량을 예측하기 위해 성능 예측기를 활용한다.
• 크기와 복잡성이 높은 구성 및 할당 공간을 단순화하여 영향력이 큰 재학습 작업에 집중할 수 있도록 자원 스케줄러를 적용한다.
• 기존 데이터에 대한 모델 적응을 위해 치명적 잊힘 없이 전이 학습과 점진적 학습 기법을 적용한다.
• 자원 단위당 정확도 향상이 가장 큰 재학습 작업을 우선순위로 정하여 다중 모델 간 스케줄링을 최적화한다.
• 시스템 신뢰성을 확보하기 위해 최소 추론 정확도 제약 조건을 강제한다.

실험 결과

연구 질문

• RQ1 실시간 영상 데이터가 훈련 데이터와 다를 때, 엣지 영상 분석 시스템은 어떻게 높은 추론 정확도를 유지할 수 있는가?
• RQ2 자원이 제한된 엣지 서버에서 재학습 정확도와 추론 정확도 사이의 최적 트레이드오프는 무엇인가?
• RQ3 고차원의 결정 공간을 고려할 때, 어떤 모델을 재학습하고 어떤 구성 설정을 사용할지 효율적으로 선택하는 방법은 무엇인가?
• RQ4 경량 성능 예측기와 마이크로 프로파일러는 재학습 오버헤드를 줄이고 전체 시스템 정확도를 향상시킬 수 있는가?
• RQ5 정확도 및 자원 효율성 측면에서 통합 스케줄링 접근 방식은 기준 스케줄러를 얼마나 뛰어넘을 수 있는가?

주요 결과

• Ekya는 지능적인 우선순위 정렬을 사용하지 않는 기준 스케줄러 대비 평균 추론 정확도가 29% 높다.
• 기준 스케줄러는 Ekya와 동일한 추론 정확도를 달성하기 위해 GPU 자원을 4배 더 소비한다. 이는 Ekya의 뛰어난 자원 효율성을 입증한다.
• 마이크로 프로파일러는 재학습에서 가장 이점이 클 가능성이 높은 모델을 성공적으로 식별하여 낮은 영향력의 모델에 대한 낭비된 계산을 줄였다.
• 성능 예측기는 최소한의 런타임 오버헤드로 재학습 결과를 정확하게 예측할 수 있었으며, 이는 실시간 스케줄링의 가능성을 보장했다.
• Ekya는 재학습 윈도우 전체 동안 추론 정확도가 최소 기준 이상을 유지하여 애플리케이션 신뢰성을 확보했다.
• 시스템은 도시 교통 및 스마트카 시나리오를 포함한 다양한 영상 스트림에서 데이터 드프트를 효과적으로 처리했으며, 객체의 외형과 환경 조건이 크게 변화하는 상황에서도 유연하게 대응했다.