[논문 리뷰] Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing

Jie Xu, Shaolei Ren|arXiv (Cornell University)|2016. 09. 16.

IoT and Edge/Fog Computing참고 문헌 11인용 수 8

한 줄 요약

이 논문은 재생 가능 에너지원을 이용하는 모바일 엣지 컴퓨팅 시스템에서 병행된 워크로드 오프로딩과 엣지 서버 오토스케일링을 위한 후결정상태(Post-Decision State, PDS)-기반 온라인 강화학습 알고리즘을 제안한다. 가치 반복을 분해하고 문제의 구조를 활용함으로써, 이 방법은 더 빠른 수렴 속도와 낮은 장기적 시스템 비용을 달성하며, 벤치마크 대비 비용을 25% 이상 감소시킨다. 이는 변동성이 큰 재생 가능 에너지와 워크로드 변화에 동적으로 대응할 수 있다.

ABSTRACT

Mobile edge computing (a.k.a. fog computing) has recently emerged to enable \emph{in-situ} processing of delay-sensitive applications at the edge of mobile networks. Providing grid power supply in support of mobile edge computing, however, is costly and even infeasible (in certain rugged or under-developed areas), thus mandating on-site renewable energy as a major or even sole power supply in increasingly many scenarios. Nonetheless, the high intermittency and unpredictability of renewable energy make it very challenging to deliver a high quality of service to users in renewable-powered mobile edge computing systems. In this paper, we address the challenge of incorporating renewables into mobile edge computing and propose an efficient reinforcement learning-based resource management algorithm, which learns on-the-fly the optimal policy of dynamic workload offloading (to centralized cloud) and edge server provisioning to minimize the long-term system cost (including both service delay and operational cost). Our online learning algorithm uses a decomposition of the (offline) value iteration and (online) reinforcement learning, thus achieving a significant improvement of learning rate and run-time performance when compared to standard reinforcement learning algorithms such as Q-learning.

연구 동기 및 목표

• 모바일 엣지 컴퓨팅 시스템에서 매우 간헐적이고 예측 불가능한 재생 가능 에너지를 관리하는 데 도전하는 것.
• 불확실한 에너지 및 워크로드 조건 하에서 서비스 지연과 운영 비용을 포함한 장기적 시스템 비용을 최소화하는 것.
• 실시간으로 작동하고 워크로드 오프로딩과 엣지 서버 제공을 동시에 최적화하는 적응형 자원 관리 정책을 설계하는 것.
• 큰 상태 공간에서 표준 강화학습(예: Q-학습)이 느린 수렴 속도와 높은 계산 비용을 겪는 문제를 해결하는 것.
• 시스템 동역학이나 통계 분포에 대한 사전 지식 없이도 온라인으로 최적 정책을 학습할 수 있도록 하는 것.

제안 방법

• 워크로드, 네트워크 혼잡도, 배터리 수준, 녹색 에너지 가용성 등을 반영하는 상태를 포함하는 마르코프 결정 과정(Markov Decision Process, MDP)으로 병행 오프로딩 및 오토스케일링 문제를 수식화한다.
• 재생 가능 에너지와 시스템 상태의 확률적 실현과 결단 과정을 분리하기 위해 후결정상(PDS) 프레임워크를 도입한다.
• 문제의 특수한 구조를 활용하고 상태 공간 복잡도를 감소시켜 학습 속도를 향상시키기 위해 PDS 기반 가치 함수 근사 기법을 사용한다.
• 수렴이 최적 정책로 보장되는 학습률 조건을 적용한 온라인 시간차 학습을 적용한다.
• 서비스 지연과 운영 비용을 조합한 보상 함수를 사용하며, 실제 세계의 트레이드오���을 반영하도록 매개변수를 조정한다.
• 오프라인 학습이나 사전 시스템 모델이 필요 없이 시스템 피드백에서 실시간으로 학습하는 동적 정책 업데이트 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 불확실한 재생 가능 에너지 공급 조건 하에서 실시간으로 최적의 오프로딩 및 오토스케일링 정책을 효율적으로 학습할 수 있는 강화학습 알고리즘은 어떻게 설계할 수 있는가?
• RQ2 PDS를 통한 문제 구조의 활용이 큰 MDP에서 표준 Q-학습 대비 학습 속도와 성능 향상에 얼마나 기여하는가?
• RQ3 장기적 비용과 적응 가능성 측면에서 제안된 알고리즘은 고정 전력 및 단기 최적화 정책과 비교해 어떻게 다른가?
• RQ4 에너지와 워크로드의 시간적 상관관계가 시스템 비용에 미치는 영향은 무엇이며, 알고리즘이 이러한 상관관계를 장기 최적화를 위해 얼마나 잘 포착하는가?
• RQ5 동적 조건 하에서 높은 에너지 수확 효율을 달성하고 낭비적인 전력 사용이나 부족한 서버 확보를 피할 수 있는가?

주요 결과

• PDS 기반 학습 알고리즘은 시간 슬롯 1000에서 두 번째로 우수한 벤치마크 대비 장기적 시스템 비용을 25% 이상 감소시켰다. Q-학습 및 고정 전력 방식보다 뚜렷이 뛰어난 성능을 보였다.
• 값 반복 과정의 구조적 분해 덕분에 Q-학습보다 더 빠른 수렴 속도와 뛰어난 런타임 성능을 달성했다.
• 학습된 정책은 매우 적응형이다: 배터리 수준이 낮고 워크로드가 증가할 것으로 예상될 경우, 향후 고수요 기간을 대비해 에너지를 절약하기 위해 지역 컴퓨팅 능력을 경계적으로 사용한다.
• 단기 최적화 정책는 시간적 상관관계를 간과하기 때문에 성능이 열악하다. 이는 조기 에너지 소모와 더 높은 장기적 비용을 초래한다.
• 고정 전력 방식은 매개변수 설정에 매우 민감하다. 최적 설정이 아니면 에너지 낭비(높은 배터리 상태) 또는 부족한 용량(낮은 배터리 상태)이 발생한다.
• PDS 기반 알고리즘은 가장 높은 에너지 수확 효율을 달성했으며, 배터리 상태 분포는 시간 슬롯 전반에 걸쳐 최적의 활용을 나타낸다.