[논문 리뷰] Hindsight Learning for MDPs with Exogenous Inputs

Sean R. Sinclair, Felipe Vieira Frujeri외 7명|arXiv (Cornell University)|2022. 07. 13.

Age of Information Optimization인용 수 4

한 줄 요약

이 논문은 외부로 제어할 수 없는 변수들에 의해만 불확실성이 발생하는 외생 입력이 있는 마르코프 결정 과정(Exo-MDPs)을 위한 데이터 효율적인 강화학습 프레임워크인 후회학습(Hindsight Learning, HL)을 소개한다. 과거 외생 입력을 활용해 이전의 결정을 후회적으로 재평가함으로써, 새로운 환경 상호작용 없이도 정책 학습을 향상시키며, 데이터 요구량을 크게 줄일 수 있다. 이는 다중비서 문제, 항공사 수익 관리, 실제 클라우드 VM 할당 작업에서 히우리스틱 방법과 최신 강화학습 알고리즘을 모두 능가한다.

ABSTRACT

Many resource management problems require sequential decision-making under uncertainty, where the only uncertainty affecting the decision outcomes are exogenous variables outside the control of the decision-maker. We model these problems as Exo-MDPs (Markov Decision Processes with Exogenous Inputs) and design a class of data-efficient algorithms for them termed Hindsight Learning (HL). Our HL algorithms achieve data efficiency by leveraging a key insight: having samples of the exogenous variables, past decisions can be revisited in hindsight to infer counterfactual consequences that can accelerate policy improvements. We compare HL against classic baselines in the multi-secretary and airline revenue management problems. We also scale our algorithms to a business-critical cloud resource management problem -- allocating Virtual Machines (VMs) to physical machines, and simulate their performance with real datasets from a large public cloud provider. We find that HL algorithms outperform domain-specific heuristics, as well as state-of-the-art reinforcement learning methods.

연구 동기 및 목표

• 통제할 수 없는 외부 불확실성이 존재하는 자원 관리 문제에 대한 강화학습의 데이터 비효율성 문제를 해결한다.
• 불확실성은 오직 외생 입력(예: VM 요청, 수요 변동)에서 기인하는 Exo-MDP로 이러한 문제를 모델링한다.
• 과거의 외생 입력을 재사용하여 과거 결정에 대한 반사적 결과를 생성하는 새로운 학습 프레임워크를 개발하여, 더 효율적인 정책 개선을 가능하게 한다.
• 합성 및 실제 환경에서 도메인 전용 히우리스틱과 최신 강화학습 방법보다 뛰어난 성능을 보여주는 Hindsight Learning의 성능을 입증한다.
• 실제 생산 데이터를 사용한 대규모 비즈니스 핵심 클라우드 VM 할당 문제에 이 방법을 적용하여 실용성과 강건성을 검증한다.

제안 방법

• 시스템 동역학이 내생 상태와 에 agen의 행동과 독립적인 외생 입력에 의존하는 Exo-MDP로 자원 관리 문제를 수식화한다.
• 관측된 외생 입력 시퀀스를 사용해 과거 결정에 대한 반사적 보상을 계산하는 후회 플래너(Hindsight Planner)를 도입함으로써, 새로운 환경 상호작용 없이도 정책 개선이 가능하다.
• 이러한 반사적 결과로부터 학습함으로써 베이즈 최적 선택자와 유사한 동작을 하는 후회학습 알고리즘을 설계하여 분산을 줄이고 수렴 속도를 가속화한다.
• 값 분해 기법을 사용해 Exo-MDP의 가치 함수를 분해함으로써 고차원 상태 및 입력 공간에서의 확장 가능한 학습을 가능하게 한다.
• VM과 물리적 머신의 특징을 그래프 신경망(GNN)으로 표현하여 정책이 복잡한 할당 구성 간에 일반화할 수 있도록 한다.
• 크기와 수명 주기를 기준으로 VM을 우선순위 정렬하는 확장 가능한 후회 히우리스틱을 구현하여, 평균 이중 갭(dual gap)이 4% 미만인 근사 최적 성능을 달성한다.

실험 결과

연구 질문

• RQ1 관측된 외생 입력을 활용해 과거 결정을 후회적으로 재평가함으로써, 외생 불확실성이 존재하는 순차적 결정 문제에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 후회학습은 다중비서 문제와 항공사 수익 관리 문제에서 고전적 히우리스틱과 최신 강화학습 방법보다 어떻게 비교되는가?
• RQ3 후회학습은 고차원의 연속적 입력을 가진 실제 대규모 클라우드 자원 할당에 얼마나 잘 스케일링되는가?
• RQ4 실제 VM 할당에서 제안된 후회 히우리스틱은 최적 해에 얼마나 가까운가? 그 실증적 성능 격차는 무엇인가?
• RQ5 후회학습은 실제 생산 규모의 클라우드 환경에서 실시간 데이터를 사용할 때, 엔드 투 엔드 강화학습과 히우리스틱 기반 기준선보다 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 실제 클라우드 VM 할당 작업에서 후회학습은 부정적 역패킹 밀도 지표에서 0.18 ± 0.093의 성능를 기록했으며, DQN(-1.00 ± 0.41)과 MAC(-0.38 ± 0.033)를 크게 능가했다.
• 후회 MAC 알고리즘은 패킹 밀도를 0.05% 감소시켜, 다음으로 우수한 기준선인 DQN(0.05% 감소)보다 1.5배 향상된 성능를 보였다.
• 모델링된 VM 할당 환경에서는 후회 MAC가 패킹 밀도를 0.05% 향상시켰고, 최고의 기준선인 MAC는 -0.03%에 머물렀다. 이는 뚜렷한 데이터 효율성 우위를 보여준다.
• 24개의 실제 클러스터를 대상으로 평균 이중 갭이 4.33%에 불과했으며, 개별 갭은 1.17%에서 20.07% 사이로 변동하여 대부분의 경우 근사 최적에 가까운 성능를 보였다.
• 합성 및 실제 환경 모두에서 후회학습은 DQN, 정책 그래디언트, AC 등 모든 기준선을 압도적으로 능가했으며, 일관된 우수성을 입증했다.
• 다음으로 우수한 기준선 대비 패킹 밀도 감소에서 1.5배 향상된 성능를 기록하여, 클라우드 데이터센터의 자원 분할과 에너지 비용 감소에 강력한 실용적 영향을 미친다.