[논문 리뷰] A Primal-Dual Approach to Constrained Markov Decision Processes

Yi Chen, Jing Dong외 1명|arXiv (Cornell University)|2021. 01. 26.

Reinforcement Learning in Robotics참고 문헌 40인용 수 15

한 줄 요약

이 논문은 제약 조건이 있는 마르코프 결정 과정(CMDP)을 해결하기 위해 샘플링 기반의 원시-이중 알고리즘을 제안한다. 정규화된 정책 반복과 하위기울기 상승을 조합하여 제약 조건을 유지한다. 이 알고리즘은 $ O(\log(T)/\sqrt{T}) $ 수렴 속도를 달성하며, 다중 제품 재고 및 다중 클래스 대기열 스케줄링에서 최신 휴리스틱 기법들보다 뚜렷이 뛰어나며, 높은 할인율에서 최대 21%의 비용 절감을 이룬다.

ABSTRACT

In many operations management problems, we need to make decisions sequentially to minimize the cost while satisfying certain constraints. One modeling approach to study such problems is constrained Markov decision process (CMDP). When solving the CMDP to derive good operational policies, there are two key challenges: one is the prohibitively large state space and action space; the other is the hard-to-compute transition kernel. In this work, we develop a sampling-based primal-dual algorithm to solve CMDPs. Our approach alternatively applies regularized policy iteration to improve the policy and subgradient ascent to maintain the constraints. Under mild regularity conditions, we show that the algorithm converges at rate $ O(\log(T)/\sqrt{T})$, where T is the number of iterations. When the CMDP has a weakly coupled structure, our approach can substantially reduce the dimension of the problem through an embedded decomposition. We apply the algorithm to two important applications with weakly coupled structures: multi-product inventory management and multi-class queue scheduling, and show that it generates controls that outperform state-of-art heuristics.

연구 동기 및 목표

• 큰 상태 공간과 행동 공간, 그리고 알려지지 않은 전이 커널을 가진 CMDP를 해결하는 데 발생하는 계산적 과제를 해결하기 위해.
• 각 반복 단계에서 전체 정책 평가를 수행하지 않아도 되는 저비용이고 확장 가능한 알고리즘을 개발하기 위해.
• 통합 분해와 원시-이중 갱신을 통해 약하게 결합된 CMDP를 효율적으로 해결할 수 있도록 하기 위해.
• 실제 운영 관리 응용 분야에서 기존 휴리스틱 기법들에 비해 경험적으로 뛰어난 성능을 보여주기 위해.
• 정규화와 이중성의 통합 프레임워크를 제공하여 이중성 기반의 CMDP 해법에 이론적 수렴 보장을 부여하기 위해.

제안 방법

• 정책 개선을 위한 정규화된 정책 반복과 라그랑주 승수 갱신을 위한 하위기울기 상승을 번갈아 적용하는 원시-이중 접근 방식을 사용한다.
• 정책 개선 단계에서 KL 정규화를 적용하여 미러 강하 해석이 가능하게 하고 정책 갱신의 안정성을 확보한다.
• 각 원시-이중 반복에서 정책 평가를 완전히 수행하는 대신 단일 정책 반복 단계만을 적용하여 계산 비용을 절감한다.
• 약하게 결합된 구조를 활용하여 CMDP를 결합 제약 조건을 통해 연결된 부분 문제들로 분해함으로써 확장 가능한 계산을 가능하게 한다.
• 실시간 적용 가능성을 위해 몬테카를로 정책 평가 및 TD 학습과 같은 근사 동적 프로그래밍 기법들과 통합한다.
• 알고리즘의 수렴을 통합하고 분석하기 위해 정규화된 벨만 연산자 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 각 반복에서 정책 갱신을 한 번만 수행하는 원시-이중 알고리즘이 CMDP에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 정책 반복에서의 정규화가 CMDP 해법의 안정성과 수렴성에 어떻게 기여하는가?
• RQ3 약하게 결합된 CMDP는 얼마나 분해하여 계산 복잡도를 줄일 수 있는가?
• RQ4 다양한 시스템 파rameter 하에서 제안된 알고리즘이 휴리스틱 정책에 비해 비용 성능에서 얼마나 뛰어나게 되는가?
• RQ5 실제 응용 분야에서 원시-이중 학습 과정을 통해 어떤 구조적 특성(예: 임계값 기반 정책)이 도출되는가?

주요 결과

• 알고리즘이 $ O(\log(T)/\sqrt{T}) $ 수렴 속도를 달성하며, 미약한 정규성 조건 하에서 원시-이중 방법의 최적 속도를 충족한다.
• 다중 클래스 대기열 스케줄링에서, 고할인율($ \gamma = 0.99 $) 조건 하에서 최대 압력 정책에 비해 비용을 21% 절감한다.
• 다중 제품 재고 관리 문제에서, 수정된 $ c\mu $-규칙과 수정된 최대 압력 정책을 모두 능가하며, 특히 과잉 비용이 높을 경우 두드러진 성능 향상을 보인다.
• 학습된 정책은 임계값 기반의 구조를 보이며, 상태에 따라 결정되는 임계값을 초과할 경우에만 과잉 처리가 발생한다.
• 시스템 안정성 요구 시 과잉 처리를 적극적으로 시행하는 정책을 학습할 수 있었으며, 큐 길이가 매우 길어지기 전까지 과잉 처리를 연기하는 정책보다 뛰어난 성능을 보였다.
• 알고리즘은 알려지지 않은 전이 커널에 대해 강건하며, 약하게 결합된 CMDP의 구조를 통한 분해를 통해 효과적으로 확장 가능하다.