[논문 리뷰] Learning Augmented Index Policy for Optimal Service Placement at the Network Edge

Guojun Xiong, Rahul Singh외 1명|arXiv (Cornell University)|2021. 01. 10.

Age of Information Optimization참고 문헌 54인용 수 6

한 줄 요약

이 논문은 네트워크 엣지에서 서비스 배치를 최적화하여 서비스 제공 지연을 최소화하기 위해 학습 보완 Whittle 인덱스 정책을 제안한다. 단일 서비스 MDP의 임계값 구조를 활용하고 명시적인 Whittle 인덱스를 유도함으로써, 낮은 학습 회귀와 최적 성능로 수렴하는 UCB-Whittle 및 Q-학습-Whittle 알고리즘을 도입한다. 시뮬레이션에서 표준 강화학습 기반 알고리즘보다 유의미하게 뛰어나며, 증명 가능한 보장이 있다.

ABSTRACT

We consider the problem of service placement at the network edge, in which a decision maker has to choose between $N$ services to host at the edge to satisfy the demands of customers. Our goal is to design adaptive algorithms to minimize the average service delivery latency for customers. We pose the problem as a Markov decision process (MDP) in which the system state is given by describing, for each service, the number of customers that are currently waiting at the edge to obtain the service. However, solving this $N$-services MDP is computationally expensive due to the curse of dimensionality. To overcome this challenge, we show that the optimal policy for a single-service MDP has an appealing threshold structure, and derive explicitly the Whittle indices for each service as a function of the number of requests from customers based on the theory of Whittle index policy. Since request arrival and service delivery rates are usually unknown and possibly time-varying, we then develop efficient learning augmented algorithms that fully utilize the structure of optimal policies with a low learning regret. The first of these is UCB-Whittle, and relies upon the principle of optimism in the face of uncertainty. The second algorithm, Q-learning-Whittle, utilizes Q-learning iterations for each service by using a two time scale stochastic approximation. We characterize the non-asymptotic performance of UCB-Whittle by analyzing its learning regret, and also analyze the convergence properties of Q-learning-Whittle. Simulation results show that the proposed policies yield excellent empirical performance.

연구 동기 및 목표

• 자원이 제한된 엣지 네트워크에서 요청률과 서비스률이 알려져 있지 않고 시간에 따라 변하는 환경에서 평균 서비스 제공 지연을 최소화하는 데 도전한다.
• 단일 서비스 최적 정책의 임계값 구조를 활용하여 전체 N개 서비스 MDP를 해결할 때 발생하는 차원의 저주를 완화한다.
• Whittle 인덱스 정책의 구조적 특성을 활용한 효율적이고 적응적인 서비스 배치를 위한 학습 보완 강화학습 알고리즘을 개발한다.
• 스토케스틱이고 부분 관측 가능한 환경에서 제안된 알고리즘에 대해 유한 시간 성능 보장을 제공한다. 예를 들어 학습 회귀 한계를 포함한다.

제안 방법

• 서비스 배치 문제를 연속 시간 MDP로 공식화하며, 상태는 엣지에서 각 서비스별 대기 중인 고객 수로 정의된다.
• 단일 서비스에 대한 최적 정책이 임계값 구조를 가지며, 요청률과 서비스률에 기반한 Whittle 인덱스의 닫힌 형태 표현식을 유도한다.
• 불확실성에 대비한 낙관주의 원칙을 활용하여 미지의 시스템 파라미터 학습에서 탐색과 이용을 균형 잡는 UCB 기반 알고리즘인 UCB-Whittle을 설계한다.
• 각 서비스의 Q-값을 학습하면서 Whittle 인덱스 구조를 활용하여 수렴성을 향상시키는 이중 시간 척도 확률적 근사 알고리즘인 Q-학습-Whittle을 개발한다.
• Whittle 인덱스의 구조적 통찰을 학습 과정에 통합하여 효과적인 상태 공간을 줄이고, 표준 강화학습 방법의 지수적 확장 방지를 방지한다.
• UCB-Whittle의 비점근적 학습 회귀와 Q-학습-Whitelist의 수렴성을 분석하여 이론적 성능 보장을 확보한다.

실험 결과

연구 질문

• RQ1 단일 서비스에 대한 최적 서비스 배치 정책은 임계값 구조로 특징지을 수 있으며, 그 Whittle 인덱스는 닫힌 형태로 유도할 수 있는가?
• RQ2 요청률과 서비스률이 알려져 있지 않고 시간에 따라 변하는 환경에서 Whittle 인덱스 정책은 어떻게 학습 설정에 적응할 수 있는가?
• RQ3 UCB-Whittle은 Whittle 인덱스 구조를 활용하여 낮은 학습 회귀를 달성할 수 있으며, 그 회귀는 서비스 수에 따라 어떻게 스케일링되는가?
• RQ4 Q-학습-Whittle은 이중 시간 척도 확률적 근사에서 최적 정책으로 수렴하는가? 실제 적용에서는 표준 Q-학습과 비교해 어떻게 성능이 다른가?
• RQ5 구조적 통찰을 활용한 학습 보완 알고리즘은 ε-그리디 Q-학습과 같은 표준 강화학습 기반 알고리즘보다 지연과 학습 효율성 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• UCB-Whittle는 시간에 따라 비선형적으로 증가하는 학습 회귀를 보이며, Whittle 인덱스 구조를 활용하면서도 미지의 시스템 파라미터를 효율적으로 학습함을 보여준다.
• Q-학습-Whittle는 이중 시간 척도 확률적 근사에서 최적 정책으로 수렴하며, 학습 과정에 대해 이론적 수렴 보장을 갖는다.
• UCB-Whittle와 Q-학습-Whittle의 기대 비용에 대한 평균 제곱오차(MSE)는 에피소드 수가 증가함에 따라 진짜 Whittle 인덱스 값으로 수렴한다.
• 시뮬레이션 결과에 따르면, 두 알고리즘이 모두 기존의 ε-그리디 Q-학습 기반 기준보다 지연 감소와 학습 효율성 측면에서 뚜렷이 뛰어나다.
• 서비스 수가 많아질수록 UCB-Whittle는 약간 더 뛰어난 성능를 보이며, 두 알고리즘 모두 강력한 성능과 점근적 최적성을 유지한다.
• 두 알고리즘의 성능은 서비스 수가 증가함에 따라 단조적으로 향상되며, 이는 대규모 엣지 네트워크에서의 확장성과 강건성을 시사한다.