[논문 리뷰] EdgeVision: Towards Collaborative Video Analytics on Distributed Edges for Performance Maximization

Guanyu Gao, Yuqi Dong외 2명|arXiv (Cornell University)|2022. 11. 06.

Advanced Neural Network Applications인용 수 4

한 줄 요약

EdgeVision는 분산된 엣지 노드 간의 협업 영상 분석을 가능하게 하는 다에이전트 강화학습(MARL) 프레임워크를 제안한다. 이는 종단 간 지연을 최소화하고 시스템 성능을 극대화하기 위해 설계되었다. 주목적 강화학습 알고리즘을 사용함으로써 엣지 노드들은 영상 프리프로세싱, 모델 선택, 요청 디스패칭을 공동으로 최적화하며, 실제 실험에서 최신 기술 대비 평균 보상이 33.6%~86.4% 높아왔다.

ABSTRACT

Deep Neural Network (DNN)-based video analytics significantly improves recognition accuracy in computer vision applications. Deploying DNN models at edge nodes, closer to end users, reduces inference delay and minimizes bandwidth costs. However, these resource-constrained edge nodes may experience substantial delays under heavy workloads, leading to imbalanced workload distribution. While previous efforts focused on optimizing hierarchical device-edge-cloud architectures or centralized clusters for video analytics, we propose addressing these challenges through collaborative distributed and autonomous edge nodes. Despite the intricate control involved, we introduce EdgeVision, a Multiagent Reinforcement Learning (MARL)- based framework for collaborative video analytics on distributed edges. EdgeVision enables edge nodes to autonomously learn policies for video preprocessing, model selection, and request dispatching. Our approach utilizes an actor-critic-based MARL algorithm enhanced with an attention mechanism to learn optimal policies. To validate EdgeVision, we construct a multi-edge testbed and conduct experiments with real-world datasets. Results demonstrate a performance enhancement of 33.6% to 86.4% compared to baseline methods.

연구 동기 및 목표

• 영상 분석 워크로드에서 개별 엣지 노드의 처리 능력이 제한되어 발생하는 성능 저하 문제를 해결하기 위해.
• 여러 지리적으로 분산된 엣지 노드 간의 동적 협업을 가능하게 하여 워크로드를 균형 있게 분배하고 자원 활용도를 향상시키기 위해.
• 엣지 노드 간에 영상 프리프로세싱, 모델 선택, 요청 디스패칭을 공동으로 최적화하여 전체 시스템 비용을 최소화하기 위해.
• 자율적인 엣지 노드들이 공동으로 최적의 정책을 학습할 수 있도록 탈중앙화되고 확장 가능한 의사결정 메커니즘을 설계하기 위해.
• 주목적 메커니즘과 에이전트 간 상태 공유가 다에이전트 강화학습(MARL) 성능 향상에 미치는 영향을 평가하기 위해.

제안 방법

• 각 엣지 노드는 로컬 상태를 관찰하고 다른 노드들과 다에이전트 강화학습(MARL) 프레임워크를 통해 협업하는 자율 에이전트로 모델링된다.
• 모든 에이전트의 상태 정보를 통합하는 중심화된 크리틱을 갖춘 액터-크리틱 MARL 알고리즘이 설계되었다.
• 기타 에이전트로부터 온 정보의 중요도를 동적으로 가중치를 부여하기 위해 주목적 메커니즘이 크리틱 네트워크에 통합되었다.
• 시스템은 영상 프레임 해상도 조정, DNN 모델 선택, 엣지 노드로의 인fer런스 요청 라우팅의 세 가지 제어 동작을 공동으로 최적화한다.
• 보상 함수는 추론 정확도, 종단 간 지연, 영상 프레임 손실률을 균형 있게 조정하며, 트레이드오프 제어를 위해 가변적인 벌점 가중치를 제공한다.
• 실제 데이터셋을 사용하여 실제 네트워크 및 워크로드 조건에서 성능을 평가하기 위해 실세계 다엔지 노드 테스트베드를 구현하였다.

Figure 1: The system architecture of video analytics with the collaboration of the edge nodes.

실험 결과

연구 질문

• RQ1 여러 엣지 노드가 어떻게 협업하여 영상 분석 파이프라인을 최적화하여 종단 간 지연을 줄이고 시스템 성능을 향상시킬 수 있는가?
• RQ2 에이전트 간 상태 공유와 주목적 메커니즘이 분산 영상 분석에서 MARL 성능에 어떤 영향을 미치는가?
• RQ3 제안된 MARL 기반 접근 방식은 중심화되거나 히우리스틱 기반의 요청 디스패칭 및 모델 선택 전략과 비교해 어떻게 성능을 냈는가?
• RQ4 고부하 상황에서 협업 엣지 처리가 영상 프레임 손실률을 얼마나 줄일 수 있는가?
• RQ5 보상 함수의 벌점 가중치에 의해 제어되는 정확도, 지연, 자원 비용 간의 다양한 트레이드오프 상황에서 시스템은 어떻게 성능을 발휘하는가?

주요 결과

• EdgeVision는 다양한 벌점 가중치 설정에서 최신 기술 대비 평균 보상 수준을 33.6%~86.4% 향상시켰다.
• 제거 실험 결과, 다른 에이전트의 상태 정보를 제거하면 성능 저하가 가장 심각하게 발생함을 확인하여, 효과적인 협업을 위해 이 정보의 필요성을 입증하였다.
• 주목적 메커니즘을 도입한 경우 비주목적 버전 대비 보상 수준이 13.2%~30.0% 향상되어, 다른 에이전트로부터 관련 정보를 걸러내는 데서의 기여도를 입증하였다.
• EdgeVision는 가장 낮은 종단 간 지연(기존 기술 대비 15.2%~32.1% 향상)과 영상 프레임 손실 비율(기존 기술 대비 18.7%~45.3% 감소)을 기록하여, 뛰어난 스케줄링 효율성을 보였다.
• 벌점 가중치가 높은 경우(ω=15)에도 EdgeVision는 정확도와 지연 간 최적의 균형을 유지하며, 고정확도 모델을 우선시하는 방법들조차도 슈퍼어리어를 기록하였다.
• 벌점 가중치가 낮은 경우(ω=0.2) EdgeVision는 가장 높은 추론 정확도를 달성하여, 다양한 최적화 목표에 적응 가능한 유연성을 입증하였다.

Figure 2: The actor-critic framework of our method.