[논문 리뷰] A Reinforcement Learning Formulation of the Lyapunov Optimization: Application to Edge Computing Systems with Queue Stability

Sohee Bae, Seungyul Han외 1명|arXiv (Cornell University)|2020. 12. 14.

Age of Information Optimization참고 문헌 45인용 수 9

한 줄 요약

이 논문은 엣지 컴퓨팅 시스템을 위한 리아푸노프 최적화의 딥 강화학습(DRL) 형식을 제안하며, 시간 평균 페널티 최소화를 위해 큐 안정성 제약 조건을 만족시키는 방법을 제공한다. 리아푸노프 드리프트 조건에서 유도된 보상 함수를 갖는 구조화된 마르코프 결정 과정(MDP)을 설계함으로써, 각 시간 단위 최적화를 피하고 비볼록 및 비연속 페널티 함수를 효과적으로 처리할 수 있으며, 복잡한 시나리오에서 전통적인 DPP 알고리즘을 능가한다.

ABSTRACT

In this paper, a deep reinforcement learning (DRL)-based approach to the Lyapunov optimization is considered to minimize the time-average penalty while maintaining queue stability. A proper construction of state and action spaces is provided to form a proper Markov decision process (MDP) for the Lyapunov optimization. A condition for the reward function of reinforcement learning (RL) for queue stability is derived. Based on the analysis and practical RL with reward discounting, a class of reward functions is proposed for the DRL-based approach to the Lyapunov optimization. The proposed DRL-based approach to the Lyapunov optimization does not required complicated optimization at each time step and operates with general non-convex and discontinuous penalty functions. Hence, it provides an alternative to the conventional drift-plus-penalty (DPP) algorithm for the Lyapunov optimization. The proposed DRL-based approach is applied to resource allocation in edge computing systems with queue stability and numerical results demonstrate its successful operation.

연구 동기 및 목표

• 기존의 드리프트 플러스 페널티(DPP) 알고리즘은 각 시간 단위에서 복잡한 최적화 문제를 해결해야 하므로 계산 부담이 크다는 문제를 해결하기 위해.
• 강화학습(RL)이 보상 최대화 목표와 충돌하는 큐 안정성 제약 조건을 충족시키면서 시간 평균 페널티를 최소화할 수 있도록 유도하기 위해.
• 리아푸노프 최적화를 위한 안정적이고 효율적인 DRL 학습을 지원하는 구조화된 상태 및 행동 공간을 갖는 적절한 MDP 형식을 설계하기 위해.
• 큐 안정성을 보장하면서 페널티를 최소화할 수 있는 보상 함수 클래스를 개발하여, SAC와 같은 실용적인 할인 강화학습 알고리즘과 호환되도록 하기 위해.
• DPP가 실패하는 현실적인 비볼록 및 비연속 페널티 함수를 갖는 엣지 컴퓨팅 자원 할당에 대해 본 방법을 시연하기 위해.

제안 방법

• 큐 길이와 작업 도착 통계를 포함한 상태 공간과 작업 오프로딩 및 계산 자원 할당을 위한 행동 공간을 갖는 마르코프 결정 과정(MDP)을 구성한다.
• 리아푸노프 드리프트 플러스 페널티 조건에 기반한 보상 함수를 유도하여, 기대 누적 보상 최대화가 큐 안정성을 강제함을 보장한다.
• 할인 강화학습에 적합한 1단계 차분 형태로 보상 함수를 변형하여, Soft Actor-Critic(SAC)과 같은 알고리즘의 사용을 가능하게 한다.
• DRL 정책을 학습하기 위해 Soft Actor-Critic(SAC) 알고리즘을 활용하여 페널티 최소화와 큐 안정유지의 병렬 최적화를 수행한다.
• 다양한 응용 유형을 갖는 엣지 컴퓨팅 시스템에서 실용적인 작업 도착 모델과 비연속 페널티 함수를 사용하여 방법을 검증한다.
• 시뮬레이션 환경을 활용하여 DRL 성능을 DPP와 비교하며, 비볼록 및 비연속 비용 함수 조건에서도 성능을 평가한다.

실험 결과

연구 질문

• RQ1 DRL 기반 접근 방식이 계산 비용이 큰 DPP 알고리즘을 대체하면서도 큐 안정성을 유지할 수 있는가?
• RQ2 큐 안정성 제약 조건을 어떻게 RL 보상 함수에 통합하여 정책 학습을 통해 장기적인 안정성을 확보할 수 있는가?
• RQ3 기존의 DPP 최적화가 실패하는 비볼록 및 비연속 페널티 함수를 처리할 수 있는가?
• RQ4 행동 공간 차원이 증가할 경우 DRL 접근 방식의 학습 및 성능 스케일링 능력은 어떠한가?
• RQ5 DRL 기반 정책이 이론적 한계와 비교해보았을 때 시간 평균 페널티와 큐 길이 사이의 유리한 트레이드오프를 달성하는가?

주요 결과

• DRL-SAC 에이전트는 비연속 페널티 함수가 포함된 모든 시나리오에서 시간 평균 페널티를 최소화하면서 큐 안정성을 유지하는 정책을 성공적으로 학습했다.
• CPU 코어 할당 기반의 비연속 페널티 함수의 경우 DPP 알고리즘이 미분 가능성이 없어 실패했지만, DRL 접근 방식은 성공적으로 비볼록성에 대비한 강건성을 입증했다.
• N=8개의 응용 프로그램을 포함한 고차원 케이스에서 DRL 접근 방식은 안정적인 학습과 효과적인 큐 제어를 유지했으며, 시간이 지남에 따라 큐 길이가 유한하게 유지되었다.
• DRL-SAC 에이전트는 이론적 기대에 부합하는 평균 페널티와 평균 큐 길이 사이의 트레이드오프를 달성했으며, V=100일 경우 낮은 페널티와 안정된 큐를 확보했다.
• 학습 곡선은 500,000 스텝 이내에 수렴했고, 실행 단계 결과는 여러 에피소드에 걸쳐 일관된 성능을 보였다.
• 제안된 보상 함수 설계는 리아푸노프 안정성 조건을 RL 목표에 성공적으로 통합하여, 명시적 제약 조건 강제 없이도 안정적인 학습을 가능하게 했다.