[논문 리뷰] Elastic Resource Management with Adaptive State Space Partitioning of Markov Decision Processes

Konstantinos Lolos, Ioannis Konstantinou외 2명|arXiv (Cornell University)|2017. 02. 09.

Cloud Computing and Resource Management참고 문헌 16인용 수 4

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)의 상태 공간을 새로운 통계 기준과 분할 전략을 사용해 적응적으로 분할하는 강화학습 알고리즘 MDP_DT를 제안한다. 이는 대규모 컴퓨팅 환경에서 효율적이고 정확한 탄성 자원 관리를 가능하게 한다. 시스템 행동에 따라 상태의 해상도를 동적으로 개선함으로써 정적 및 모델 자유 방법보다 뛰어난 성능을 내며, 훈련 데이터가 매우 적어도 높은 성능을 달성할 수 있다. 이는 아직 경험하지 못한 워크로드에서도 성능을 유지한다.

ABSTRACT

Modern large-scale computing deployments consist of complex applications running over machine clusters. An important issue in these is the offering of elasticity, i.e., the dynamic allocation of resources to applications to meet fluctuating workload demands. Threshold based approaches are typically employed, yet they are difficult to configure and optimize. Approaches based on reinforcement learning have been proposed, but they require a large number of states in order to model complex application behavior. Methods that adaptively partition the state space have been proposed, but their partitioning criteria and strategies are sub-optimal. In this work we present MDP_DT, a novel full-model based reinforcement learning algorithm for elastic resource management that employs adaptive state space partitioning. We propose two novel statistical criteria and three strategies and we experimentally prove that they correctly decide both where and when to partition, outperforming existing approaches. We experimentally evaluate MDP_DT in a real large scale cluster over variable not-encountered workloads and we show that it takes more informed decisions compared to static and model-free approaches, while requiring a minimal amount of training data.

연구 동기 및 목표

• 고차원적이고 연속적인 상태 공간을 가진 대규모 동적 컴퓨팅 환경에서의 탄성 자원 관리 과제를 해결하기 위해.
• 구성 가능성이 낮고 확장성이 떨어지며 데이터 효율성이 떨어지는 임계치 기반 및 정적 모델 기반 강화학습 접근법의 한계를 극복하기 위해.
• 시스템 행동에 기반해 상태 공간을 적응적으로 분할하는 완전 모델 기반 강화학습 알고리즘을 개발하여 의사결정 정확도와 훈련 효율성을 향상시키기 위해.
• 대규모 클러스터에서 복잡하고 이전에 경험하지 못한 워크로드를 포함한 실제 환경에서 방법의 성능을 평가하기 위해.

제안 방법

• 알고리즘은 의사결정 트리 기반의 구조를 사용하여 상태 공간을 동적으로 분할하며, 초기에는 하나의 전역 상태에서 시작하여 필요에 따라 세분화한다.
• 연속적인 상태 차원에서 최적의 분할 지점을 결정하기 위해 두 가지 새로운 통계 기준— Mann-Whitney U 검정과 파라미터 기반 검정—을 도입한다.
• 세 가지 분할 전략을 제안한다: 매개변수별 중앙값 분할, 각 매개변수에 대한 다중 분할 지점, 내성적 또는 주기적인 리셋 전략을 통한 복원력 확보.
• 완전한 MDP 모델을 유지하며 우선순위 기반 스위핑 또는 값 반복을 활용해 효율적인 Q-값 업데이트를 수행함으로써 계산 오버헤드를 줄인다.
• 분할 후 재훈련 시 이전에 수집한 경험을 재사용하여 학습 효율성을 유지하고 치명적인 기억 상실을 방지한다.
• 초기 지식이 최소한일 경우 시스템을 초기화하지만, 가용한 경우(예: 데이터베이스 스케일링을 위한 클러스터 크기 및 로드) 소량의 초기 상태 집합을 제공하면 성능 향상에 크게 기여한다.

실험 결과

연구 질문

• RQ1 복잡하고 경험하지 못한 워크로드 조건에서 적응적 상태 공간 분할이 탄성 자원 관리의 의사결정 정확도를 향상시킬 수 있는가?
• RQ2 예를 들어 Mann-Whitney U 검정과 같은 다양한 통계 기준이 연속적인 상태 공간에서 의미 있는 상태 경계를 식별하는 데 어떻게 비교되는가?
• RQ3 예를 들어 중앙값 분할 대비 다중 분할 지점 전략과 같은 다양한 분할 전략은 성능과 계산 비용 사이에서 어떤 균형을 이룬다?
• RQ4 정적 및 모델 자유 기반 기준 대비 훈련 데이터 요구량을 얼마나 줄일 수 있으며, 성능은 유지 또는 향상되는가?
• RQ5 실제 클러스터 배포 환경에서 적응적 분할을 갖는 완전한 MDP 모델은 모델 자유 강화학습과 비교해 어떻게 성능을 냈는가?

주요 결과

• Mann-Whitney U 검정과 파라미터 기반 분할 기준의 조합이 시뮬레이션과 실제 실험 모두에서 최고의 성능을 달성했다.
• 정확도와 효율성 측면에서 매개변수별 중앙값 분할 전략이 다중 분할 지점 전략보다 뛰어나며, 더 작고 효과적인 의사결정 트리를 생성했다.
• 세분화된 분할과 재훈련 메커니즘은 이전의 접근 방식을 능가했으며, 동시에 계산 비용은 효율적으로 유지했다.
• 의사결정 트리 기반 모델은 정적 모델 대비 훨씬 적은 수의 상태로 더 뛰어난 성능을 달성했으며, 계산 비용을 줄였다.
• 알고리즘의 실행 시간은 업데이트 알고리즘(예: 우선순위 기반 스위핑)에 의해 지배되며, 이로 인해 더 작은 상태 공간을 통해 더 빠른 성능을 발휘했고, 전체 정적 모델보다 빠르게 작동했다.
• 최소한의 초기 지식만으로도 알고리즘이 잘 작동했지만, 클러스터 크기 및 로드와 같은 소량의 초기 상태 집합을 제공받을 경우 성능 향상이 뚜렷하게 이루어졌으며, 이는 도메인 지식을 통합할 경우 실용적 가치가 있음을 시사한다.