[논문 리뷰] A Review of Deep Reinforcement Learning in Serverless Computing: Function Scheduling and Resource Auto-Scaling

Amjad Yousef Majid, Eduard Marin|arXiv (Cornell University)|2023. 10. 05.

IoT and Edge/Fog Computing인용 수 4

한 줄 요약

이 논문은 서버리스 컴퓨팅에서 딥 강화학습(DRL)의 응용을 검토하며, 함수 스케줄링과 자원 오토스케일링에 중점을 둔다. DRL이 실시간으로 성능과 비용을 동적으로 최적화할 수 있는 능력을 평가하며, 유망한 결과를 보여주지만 쿨스타트, 시뮬레이션의 현실성, 다중 목적 간 상충 관계 등 도전 과제를 제기한다. 본 연구는 강력한 DRL 모델, 표준화된 벤치마크, 그리고 확장성 있고 개인정보 보호를 고려한 솔루션을 위한 다중 에이전트 및 피어드레이티드 학습 탐색을 당부한다.

ABSTRACT

In the rapidly evolving field of serverless computing, efficient function scheduling and resource scaling are critical for optimizing performance and cost. This paper presents a comprehensive review of the application of Deep Reinforcement Learning (DRL) techniques in these areas. We begin by providing an overview of serverless computing, highlighting its benefits and challenges, with a particular focus on function scheduling and resource scaling. We then delve into the principles of deep reinforcement learning (DRL) and its potential for addressing these challenges. A systematic review of recent studies applying DRL to serverless computing is presented, covering various algorithms, models, and performances. Our analysis reveals that DRL, with its ability to learn and adapt from an environment, shows promising results in improving the efficiency of function scheduling and resource scaling in serverless computing. However, several challenges remain, including the need for more realistic simulation environments, handling of cold starts, and the trade-off between learning time and scheduling performance. We conclude by discussing potential future directions for this research area, emphasizing the need for more robust DRL models, better benchmarking methods, and the exploration of multi-agent reinforcement learning for more complex serverless architectures. This review serves as a valuable resource for researchers and practitioners aiming to understand and advance the application of DRL in serverless computing.

연구 동기 및 목표

• 서버리스 컴퓨팅에서 함수 스케줄링과 자원 오토스케일링에 딥 강화학습(DRL)을 적용한 최근 연구들을 체계적으로 검토하기.
• 서버리스 워크로드 최적화에 사용된 주요 DRL 알고리즘, 모델, 성능 메트릭을 특정하기.
• 실제 서버리스 환경에 DRL을 적용할 때 발생하는 과제를 분석하기, 특히 쿨스타트, 시뮬레이션의 정확도, 하이퍼파라미터 민감도 등을 포함.
• 다중 목적 최적화, 강건성, 개인정보 보호 학습에 중점을 두어 서버리스 시스템에서 DRL을 발전시키기 위한 향후 연구 방향을 제안하기.
• 개선된 메트릭과 시뮬레이션 환경을 통해 서버리스 컴퓨팅에서 DRL 평가의 기반을 마련하고 표준화 및 벤치마크를 정립하기.

제안 방법

• 최근 서버리스 컴퓨팅에서의 DRL 응용에 대한 체계적 문헌 검토를 수행하며, 함수 스케줄링과 자원 스케일링에 집중한다.
• 아키텍처와 학습 방법론에 따라 DQN, A3C, PPO, DDPG 등 DRL 알고리즘을 분류하고 분석한다.
• 비용, 지연, 처리량, 자원 활용도와 같은 표준 메트릭을 사용하여 성능을 평가하고, 연구 간 결과를 비교한다.
• 실험에서 사용된 시뮬레이션 환경의 현실성과 확장성을 평가하며, 쿨스타트와 같은 실제 동적 워크로드 특성을 모델링하지 못하는 격차를 식별한다.
• 다중 에이전트 강화학습과 피어드레이티드 학습의 통찰을 통합하여 협업적이고 개인정보 보호를 고려한 DRL 프레임워크를 제안한다.
• 표준화된 벤치마크, 불확실성 정량화, 생산 환경에서의 DRL 정책에 대한 해석 가능성 도구를 포함한 방법론적 개선을 제안한다.

Figure 1. Deep Reinforcement Learning Overview

실험 결과

연구 질문

• RQ1 서버리스 환경에서 함수 스케줄링과 자원 오토스케일링에 가장 효과적인 DRL 알고리즘은 무엇이며, 성능 및 적응 가능성 측면에서 어떻게 비교될 수 있는가?
• RQ2 실제 서버리스 시스템에 DRL 모델을 구현할 때의 주요 과제는 무엇인가, 특히 쿨스타트, 시뮬레이션의 정확도, 학습 시간 등을 고려할 때 어떻게 되는가?
• RQ3 생산 환경에서의 동적이고 불확실한 워크로드에 대해 DRL 모델을 어떻게 더 강건하게 만들 수 있는가?
• RQ4 다중 목적 및 피어드레이티드 DRL은 분산 서버리스 아키텍처에서 비용, 성능, 개인정보 보호를 균형 있게 조절하는 데 어떤 역할을 할 수 있는가?
• RQ5 서버리스 컴퓨팅에서 DRL 기반 솔루션을 공정하게 비교하기 위해 필요한 표준화된 벤치마크와 평가 메트릭은 무엇인가?

주요 결과

• DRL은 서버리스 컴퓨팅에서 함수 스케줄링과 자원 오토스케일링 최적화에 강력한 잠재력을 보이며, 전통적 방법에 비해 비용과 성능의 균형을 향상시키는 데 성공한다.
• 기존 DRL 모델은 일반적으로 단일 또는 이중 목표(예: 비용과 지연)에 집중하여, 비용, 성능, 자원 활용도를 균형 있게 조율하는 다중 목적 최적화 문제가 여전히 열려 있는 과제로 남아 있다.
• 현재 연구에서 사용된 시뮬레이션 환경은 쿨스타트와 동적 워크로드 변화를 모델링하는 데 현실성이 떨어져 결과의 일반화 능력을 제한한다.
• DRL 모델은 하이퍼파라미터 설정에 매우 민감하며 상당한 컴퓨팅 자원을 요구하여 생산 환경에 구현하는 데 실질적 장벽을 가진다.
• 표준화된 벤치마크와 평가 메트릭의 부족으로 연구 간 비교가 어려워지고, 모델 선택 및 검증의 진전을 저해하고 있다.
• 향후 방향으로 피어드레이티드 학습과 불확실성 인식 DRL(예: 베이지안 네트워크, 앙상블 방법)은 개인정보 보호, 강건성, 적응성을 확보하는 데 핵심적인 역할을 할 것이다.