[논문 리뷰] A Comparison of Reinforcement Learning Techniques for Fuzzy Cloud Auto-Scaling

Hamid Arabnejad, Claus Pahl외 2명|arXiv (Cornell University)|2017. 05. 19.

Cloud Computing and Resource Management참고 문헌 21인용 수 6

한 줄 요약

이 논문은 OpenStack에서 가상 머신 할당을 동적으로 조정하기 위해 두 가지 강화학습 기법—Fuzzy SARSA(내정책) 및 Fuzzy Q-Learning(외정책)—을 사용하는 자기적응형 퍼지 자동스케일러를 제안한다. 두 방법 모두 자원 사용을 최적화하여 SLA 준수도 향상시키고 비용을 절감하지만, FSL은 비정기적이고 급격한 워크로드(예: 월드컵 트래픽)에서 더 빠른 수렴 속도와 더 나은 성능을 보였다.

ABSTRACT

A goal of cloud service management is to design self-adaptable auto-scaler to react to workload fluctuations and changing the resources assigned. The key problem is how and when to add/remove resources in order to meet agreed service-level agreements. Reducing application cost and guaranteeing service-level agreements (SLAs) are two critical factors of dynamic controller design. In this paper, we compare two dynamic learning strategies based on a fuzzy logic system, which learns and modifies fuzzy scaling rules at runtime. A self-adaptive fuzzy logic controller is combined with two reinforcement learning (RL) approaches: (i) Fuzzy SARSA learning (FSL) and (ii) Fuzzy Q-learning (FQL). As an off-policy approach, Q-learning learns independent of the policy currently followed, whereas SARSA as an on-policy always incorporates the actual agent's behavior and leads to faster learning. Both approaches are implemented and compared in their advantages and disadvantages, here in the OpenStack cloud platform. We demonstrate that both auto-scaling approaches can handle various load traffic situations, sudden and periodic, and delivering resources on demand while reducing operating costs and preventing SLA violations. The experimental results demonstrate that FSL and FQL have acceptable performance in terms of adjusted number of virtual machine targeted to optimize SLA compliance and response time.

연구 동기 및 목표

• 기존 자동스케일링에서 수동으로 설정된 임계값 문제를 해결하기 위해, 이를 적응형 학습 기반 제어기로 대체한다.
• 퍼지 논리 기반 자동스케일링 프레임워크에서 내정책(SARSA)과 외정책(Q-Learning) 강화학습의 효과성을 평가한다.
• 제안된 Fuzzy RL 방법을 실제 IaaS 플랫폼인 OpenStack에 구현하고 다양한 워크로드 패턴에서 검증한다.
• 정기적, 급격한, 실제 워크로드에서 FSL과 FQL의 성능을 SLA 준수도, 반응 시간, 자원 활용도 측면에서 비교한다.
• 서비스 품질을 유지하면서도 가상머신 사용을 줄임으로써 비용 효율적인 자동스케일링을 입증한다.

제안 방법

• 퍼지 논리 제어기를 사용하여 시스템 상태를 언어적 레이블(예: '낮음', '중간', '높음' 등)로 추상화함으로써 상태 공간 복잡도를 감소시킨다.
• 두 가지 강화학습 알고리즘—Fuzzy SARSA(내정책) 및 Fuzzy Q-Learning(외정책)—을 통합하여 런타임에서 동적으로 퍼지 스케일링 규칙을 학습하고 업데이트한다.
• RL 에이전트는 SLA 준수도와 반응 시간에 기반한 보상에서 학습하며, Q-러닝은 최적의 다음 행동을 탐색하고, SARSA는 실제 다음 행동에 기반해 학습한다.
• 지식 기반에 퍼지 규칙와 Q-값을 저장하는 MAPE-K 제어 루프(Monitor, Analyze, Plan, Execute)를 사용해 OpenStack에 시스템을 구현한다.
• 워크로드 패턴으로는 합성된 정기적, 급격한, ON/OFF 워크로드와 위키백과 및 월드컵 웹사이트 로그에서 확보한 실제 워크로드 트레이스를 포함한다.
• 평균 최대 VM 사용도, 반응 시간, SLA 위반 비율, 수렴 속도 등의 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 워크로드 패턴 하에서 Fuzzy SARSA와 Fuzzy Q-Learning의 수렴 속도와 해법 품질은 어떻게 비교되는가?
• RQ2 초기 퍼지 규칙의 품질(전문가 지식 대비 비전문가 지식)이 자동스케일링 시스템 성능에 미치는 영향은 무엇인가?
• RQ3 월드컵 액세스 로그와 같은 실제 불확실한 워크로드에서 두 RL 기반 자동스케일러는 어떻게 성능을 발휘하는가?
• RQ4 제안된 퍼지 RL 접근법을 통해 VM 사용을 얼마나 줄일 수 있으며, 동시에 SLA 준수도와 낮은 반응 시간을 유지할 수 있는가?
• RQ5 어떤 워크로드 환경에서 내정책 FSL이 외정책 FQL을 능가하고, 반대로 FQL이 FSL을 능가하는가?

주요 결과

• 비정기적이고 급격히 변하는 워크로드에서 Fuzzy SARSA(FSL)는 Fuzzy Q-Learning(FQL)보다 더 빠른 학습 수렴 속도를 보였다.
• 위키백과 워크로드에서는 FSL이 FQL보다 略적으로 더 나은 성능을 보였으며, 이는 안정된 상태 조건에서 반응 시간과 SLA 준수도 향상됨을 시사한다.
• 급격한 월드컵 워크로드 하에서 FSL은 반응 시간에서 FQL을 능가했으며, FQL은 외정책 성격으로 인해 더 오랫동안 탐색 모드에 머물렀기 때문이다.
• 모든 워크로드에서 평균 최대 VM 사용도는 FQL이 18.3%, FSL이 22.6%였으며, FQL이 더 높은 자원 효율성을 보였지만, 일부 경우 FSL은 더 적은 VM으로도 유사한 SLA 준수도를 달성했다.
• 전문가 지식 기반의 초기 퍼지 규칙는 열악한 규칙보다 훨씬 높은 해법 품질을 제공했으며, 이는 RL 기반 자동스케일링에서 초기화의 중요성을 강조한다.
• FSL과 FQL은 모두 공용 및 다양한 워크로드 패턴에서 유휴 VM을 최소화하고 SLA 위반을 방지함으로써 인프라 비용 절감에 성공했다.