[논문 리뷰] Simulation Based Algorithms for Markov Decision Processes and Multi-Action Restless Bandits

Rahul Meshram, Kesav Kaza|arXiv (Cornell University)|2020. 07. 25.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 상태 공간이 크거나 연속적인 고차원 마르코프 결정 과정(MDP)과 다중행동을 가진 불안정한 밴드이트(RMAB) 문제를 해결하기 위해 시뮬레이션 기반 몬테카를로 롤아웃 정책을 제안한다. 기존의 가치/정책 반복 기법이 상태 공간이 커져서는 성립하지 않을 때 특히 유용하다. 인덱서블 RMAB의 근사 인덱스 계산에 대한 수렴성을 보장하기 위해 이중 시간스케일 확률적 근사 기법을 도입하였으며, 비인덱서블 및 다중행동 RMAB에 대해서도 롤아웃 정책을 확장하여 예산 제약 조건과 복잡한 동역학 하에서의 실현 가능성을 입증하였다.

ABSTRACT

We consider multi-dimensional Markov decision processes and formulate a long term discounted reward optimization problem. Two simulation based algorithms---Monte Carlo rollout policy and parallel rollout policy are studied, and various properties for these policies are discussed. We next consider a restless multi-armed bandit (RMAB) with multi-dimensional state space and multi-actions bandit model. A standard RMAB consists of two actions for each arms whereas in multi-actions RMAB, there are more that two actions for each arms. A popular approach for RMAB is Whittle index based heuristic policy. Indexability is an important requirement to use index based policy. Based on this, an RMAB is classified into indexable or non-indexable bandits. Our interest is in the study of Monte-Carlo rollout policy for both indexable and non-indexable restless bandits. We first analyze a standard indexable RMAB (two-action model) and discuss an index based policy approach. We present approximate index computation algorithm using Monte-Carlo rollout policy. This algorithm's convergence is shown using two-timescale stochastic approximation scheme. Later, we analyze multi-actions indexable RMAB, and discuss the index based policy approach. We also study non-indexable RMAB for both standard and multi-actions bandits using Monte-Carlo rollout policy.

연구 동기 및 목표

• 크거나 연속적인 상태 공간을 가진 고차원 MDP에서 가치 반복 및 정책 반복 기법의 계산 비용이 지나치게 높아지는 문제를 해결한다.
• 특히 몬테카를로 롤아웃 정책을 포함한 시뮬레이션 기반 알고리즘을 개발하여 약하게 결합된 MDP 및 불안정한 밴드이트 문제를 해결한다.
• 기존의 인덱스 기반 정책이 인덱서블리티가 없어 적용 불가능한 다중행동 RMAB에 대해 롤아웃 기반 방법을 확장한다.
• 이중 시간스케일 확률적 근사 기법을 사용하여 인덱서블 다중행동 RMAB에서의 근사 인덱스 계산에 대한 이론적 수렴 보장을 제공한다.
• 인덱서블리티를 확보할 수 없는 비인덱서블 RMAB에서 롤아웃 정책의 실용성을 입증한다.

제안 방법

• 기본 정책에서의 궤적 샘플링을 통해 가치 함수를 근사하는 몬테카를로 롤아웃 정책을 사용하여 정확한 동적 프rogramming를 대체한다.
• 예산 제약 조건 하에서 행동 선택을 위한 근사 정책을 구현하며, 이는 집합 $\overline{A} = \{\mathbf{a} \in \mathcal{A} : \sum_{i=1}^N a_i \leq K\}$ 로 정의된다. 여기서 $a_i$ 는 암호 $i$ 의 활성 수준을 나타낸다.
• 할인 보상에 기반하여 $L$개의 샘플된 궤적을 사용해 상태-행동 가치를 추정한다: $\widetilde{Q}_{\pi,T}(\mathbf{x},\mathbf{a}) = \sum_{i=1}^N r_i(\mathbf{x}_i, a_i) + \beta \left[ \frac{1}{L} \sum_{l=1}^L \overline{Q}_{\pi,T}^l(\mathbf{x},\mathbf{a}) \right]$.
• 인덱서블 RMAB에서 근사 인덱스 계산의 수렴성을 보장하기 위해 이중 시간스케일 확률적 근사 기법을 적용한다.
• 비인덱서블 다중행동 RMAB에 대해 직접 궤적을 시뮬레이션하고, 인덱서블리티에 의존하지 않고 가능 행동 집합 위에서 최적화함으로써 롤아웃 정책을 확장한다.
• 샘플된 상태 전이를 기반으로 향후 예상 보상을 최대화하는 방식으로 행동을 선택하는 그리디 롤아웃 정책을 사용하며, 예산 제약 조건 하에서도 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 몬테카를로 롤아웃 정책은 크거나 연속적인 상태 공간을 가진 고차원 MDP에서 가치 반복 및 정책 반복 기법에 대한 확장 가능한 대안이 될 수 있는가?
• RQ2 기존의 윌브 인덱스 정책이 비인덱서블리티로 인해 실패하는 다중행동 불안정한 밴드이트 문제에 대해 롤아웃 정책는 어떻게 적응시킬 수 있는가?
• RQ3 시뮬레이션 기반 방법을 사용할 때, 인덱서블 다중행동 RMAB에서의 근사 인덱스 계산에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ4 인덱서블리티를 가정할 수 없는 비인덱서블 RMAB에서 롤아웃 정책의 성능은 어떻게 평가되는가?
• RQ5 예산 제약 조건 하에서 다차원, 다중행동 RMAB에 롤아웃 정책를 적용할 때의 계산 비용과 수렴성 간의 상충 관계는 어떠한가?

주요 결과

• 제안된 몬테카를로 롤아웃 정책는 상태 공간 크기가 크기 때문에 가치 반복 또는 정책 반복이 계산적으로 비현실적인 고차원 MDP 문제에서 정확한 동적 프로그래밍에 대한 실현 가능하고 확장 가능한 대안을 제공한다.
• 인덱서블 RMAB의 경우, 이중 시간스케일 확률적 근사 기법을 사용하여 근사 인덱스 계산 알고리즘의 수렴성을 입증하였으며, 윌브 인덱스의 신뢰성 있는 추정을 보장한다.
• 인덱서블 RMAB에 대한 롤아웃 정책 프레임워크는 비인덱서블 RMAB, 특히 다중행동 변형으로 성공적으로 확장되었으며, 임계값 구조가 없는 경우 인덱스 기반 휴리스틱이 적용 불가능한 상황에서도 유용하다.
• 가능 행동 집합 $\overline{A}$ 위에서 그리디 정책를 사용함으로써 예산 제약 조건 하에서도 계산 가능성을 유지하였으며, 각 시간 단계에서 정확히 $K$개의 암호만 활성화된다.
• 제한된 계산 예산 하에서도 최적 가치 함수의 양호한 근사를 달성하여, 무선 네트워크 및 사물인터넷(IoT) 분야의 실시간 응용에 적합하다.
• 이 프레임워크는 제약 조건이 있는 MDP, 은닉 마르코프 모델, 중요도 샘플링 변형 등으로도 확장 가능하여 현재 범위를 초월한 넓은 적용 가능성을 시사한다.