[논문 리뷰] Heuristic and Reinforcement Learning Algorithms for Dynamic Service Placement on Mobile Edge Cloud

Dhruv Garg, Nanjangud C. Narendra외 1명|arXiv (Cornell University)|2021. 10. 30.

IoT and Edge/Fog Computing인용 수 7

한 줄 요약

이 논문은 모바일 에지 클라우드 환경에서 동적 서비스 배치를 위한 세 가지 알고리즘—두 가지 휴리스틱(집합 커버 그레디언트 및 정수 프로그래밍)과 강화학습 기반 알고리즘—을 제안하고 평가한다. 학습 기반 접근 방식이 더 높은 배치 품질을 제공하는 것으로 입증되었지만, 시간 제약 및 결정론적 요구사항이 있는 환경에서는 휴리스틱 방법도 효과적이며 실세계 구현에 실용적인 트레이드오프를 제공한다.

ABSTRACT

Edge computing hosts applications close to the end users and enables low-latency real-time applications. Modern applications inturn have adopted the microservices architecture which composes applications as loosely coupled smaller components, or services. This complements edge computing infrastructure that are often resource constrained and may not handle monolithic applications. Instead, edge servers can independently deploy application service components, although at the cost of communication overheads. Consistently meeting application service level objectives while also optimizing application deployment (placement and migration of services) cost and communication overheads in mobile edge cloud environment is non-trivial. In this paper we propose and evaluate three dynamic placement strategies, two heuristic (greedy approximation based on set cover, and integer programming based optimization) and one learning-based algorithm. Their goal is to satisfy the application constraints, minimize infrastructure deployment cost, while ensuring availability of services to all clients and User Equipment (UE) in the network coverage area. The algorithms can be extended to any network topology and microservice based edge computing applications. For the experiments, we use the drone swarm navigation as a representative application for edge computing use cases. Since access to real-world physical testbed for such application is difficult, we demonstrate the efficacy of our algorithms as a simulation. We also contrast these algorithms with respect to placement quality, utilization of clusters, and level of determinism. Our evaluation not only shows that the learning-based algorithm provides solutions of better quality; it also provides interesting conclusions regarding when the (more traditional) heuristic algorithms are actually better suited.

연구 동기 및 목표

• 변동하는 네트워크 조건과 사용자 이동성으로 인해 저지연 응용 프로그램 제공이 복잡해지는 모바일 에지 컴퓨팅 환경에서 동적 서비스 배치의 과제를 해결한다.
• 서비스 가용성과 서비스 수준 목표(SLO)를 충족시키면서 인프라 비용과 통신 오버헤드를 최소화한다.
• 사용자 이동성, 혼잡도, 에지 리소스 제약 등 실제 모바일 네트워크 역학을 배치 결정 과정에 통합한다.
• 배치 제약 조건에 따라 최적의 전략을 선택하는 데 도움이 되도록 휴리스틱과 학습 기반 알고리즘을 비교 평가한다.
• 물리적 테스트베드 접근성이 제한된 상황에서 실제 드론 스웜 항법 사용 사례를 시뮬레이션을 통해 제안된 알고리즘의 유효성을 입증한다.

제안 방법

• 사용자 기기(UE) 및 서비스 종속성의 최대 커버리지 확보를 위해 우선순위를 둔 집합 커버 그레디언트 휴리스틱을 개발하여 복제 및 통신 비용을 최소화한다.
• 자원 및 SLO 제약 조건 하에서 총 배치 비용을 최소화하는 혼합정수선형계획문(MILP)으로 서브시스템 배치를 수식화한 정수 프로그래밍 기반 최적화 모델을 구현한다.
• 시뮬레이션된 모바일 에지 환경과의 상호작용을 통해 최적의 배치 결정을 학습하는 데 중점을 둔 강화학습(RL) 에이전트를 설계한다.
• 상태 공간은 네트워크 부하, UE 분포, 에지 서버 용량, 서비스 종속성을 포함하도록 정의하고, 행동 공간은 배치, 복제, 이주 결정을 포함한다.
• 정책 학습을 이끄는 데 사용되는 보상 함수는 SLO 준수, 인프라 비용, 통신 오버헤드를 균형 있게 고려한다.
• 동적 UE 이동성과 변동하는 네트워크 조건을 가진 드론 스웜 항법 사용 사례를 시뮬레이션하여, 모든 세 가지 알고리즘을 현실적인 워크로드 하에서 평가한다.

실험 결과

연구 질문

• RQ1 휴리스틱과 강화학습 기반 서비스 배치 알고리즘이 배치 품질, 비용 효율성, 결정론성 측면에서 어떻게 비교되는가?
• RQ2 간단한 휴리스틱 알고리즘이 더 복잡한 학습 기반 접근 방식보다 시간 제약 또는 자원 제약 하에서 어떤 시나리오에서 우월한가?
• RQ3 강화학습이 동적 모바일 에지 환경에서 전통적 최적화 및 그레디언트 휴리스틱에 비해 서비스 배치 품질을 얼마나 향상시킬 수 있는가?
• RQ4 변동하는 네트워크 조건과 사용자 이동성 하에서도 제안된 알고리즘이 SLO 준수를 얼마나 잘 유지하는가?
• RQ5 휴리스틱과 학습 기반 배치 전략을 선택할 때 솔루션 품질, 실행 시간, 결정론성 간의 트레이드오프는 어떠한가?

주요 결과

• 강화학습 기반 알고리즘이 가장 높은 배치 품질을 달성하여, 휴리스틱 방법에 비해 더 낮은 통신 오버헤드와 인프라 비용으로 일관되게 SLO를 충족시킨다.
• 정수 프로그래밍 기반 휴리스틱은 가장 결정론적인 결과를 제공하며, 솔루션 재현성이 중요한 시나리오에 적합하지만 실행 시간이 더 길다.
• 집합 커버 그레디언트 휴리스틱은 성능과 속도 사이에 좋은 균형을 이룹니다. 시간 제약이 있는 구현 환경에서 최적에 가까운 결과가 허용되는 경우에 효과적이다.
• 낮은 솔루션 품질에도 불구하고, 그레디언트 휴리스틱은 실행 속도 면에서 정수 프로그래밍 접근 방식을 능가하여, 지연 민감한 환경에서의 가치를 입증한다.
• 학습 기반 접근 방식은 UE 이동성 및 네트워크 혼잡도와 같은 동적 변화에 더 뛰어난 적응성을 보이며, 이전 패턴을 학습하여 장기적인 배치 결정을 개선한다.
• 이 연구는 휴리스틱 알고리즘이 고갈된 것이 아니며, 결정론성, 낮은 지연 또는 예측 가능한 실행이 요구되는 경우에 여전히 실용적이고 종종 바람직하다는 점을 드러낸다. 이는 최적성의 일부를 포기할 수 있음을 시사한다.