[논문 리뷰] Achieving Zero Constraint Violation for Constrained Reinforcement Learning via Primal-Dual Approach

Qinbo Bai, Amrit Singh Bedi외 3명|arXiv (Cornell University)|2021. 09. 13.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 제약 강화학습을 위한 보존적인 확률적 원본-이중 알고리즘(CSPDA)을 제안하며, 기존의 모델 기반 CMDP에서의 최적 성능에 비해 $Ø\left(1/\epsilon^{2}\right)$의 샘플 복잡도를 확보함으로써 제약 위반 없이 $Ø$-최적 누적 보상 달성을 가능하게 한다. 이는 기존의 최상의 성능인 $Ø\left(1/\epsilon^{5}\right)$에 비해 크게 향상된 결과이다.

ABSTRACT

Reinforcement learning is widely used in applications where one needs to perform sequential decisions while interacting with the environment. The problem becomes more challenging when the decision requirement includes satisfying some safety constraints. The problem is mathematically formulated as constrained Markov decision process (CMDP). In the literature, various algorithms are available to solve CMDP problems in a model-free manner to achieve $ε$-optimal cumulative reward with $ε$ feasible policies. An $ε$-feasible policy implies that it suffers from constraint violation. An important question here is whether we can achieve $ε$-optimal cumulative reward with zero constraint violations or not. To achieve that, we advocate the use of randomized primal-dual approach to solve the CMDP problems and propose a conservative stochastic primal-dual algorithm (CSPDA) which is shown to exhibit $ ilde{\mathcal{O}}\left(1/ε^2 ight)$ sample complexity to achieve $ε$-optimal cumulative reward with zero constraint violations. In the prior works, the best available sample complexity for the $ε$-optimal policy with zero constraint violation is $ ilde{\mathcal{O}}\left(1/ε^5 ight)$. Hence, the proposed algorithm provides a significant improvement as compared to the state of the art.

연구 동기 및 목표

• 모델 기반 제약 강화학습에서 제약 위반 없이 최적의 정책 성능를 달성하는 데 도전하는 것.
• 자율 주행 및 전력 시스템과 같은 분야에서 제약 위반이 치명적인 만큼, 이론적 최적성과 실용적 안전성 간 격차를 해소하는 것.
• 제약 강화 마코프 결정 과정(CMDP)에서 $Ø$-최적 누적 보상을 달성하면서도 제약 위반이 전혀 없는 샘플 효율적인 알고리즘을 개발하는 것.
• 기존 방법들이 $Ø$-가능 정책를 달성하더라도 비영인 제약 위반을 允許하는 한계를 극복하는 것.
• 보수적인 이중 제약과 KL 발산 기반 이중 업데이트를 사용하여, CMDP에서 원본-이중 방법의 새로운 이론적 기반을 구축하는 것.

제안 방법

• 제안된 CSPDA 알고리즘은 원본-이중 프레임워크를 사용하며, 이중 도메인에서 보수적인 제약 전략을 적용하여 원본 정책에서 제약 위반을 완전히 방지한다.
• 이중 업데이트는 KL 발산을 성능 측정 지표로 사용하여, 제약된 기울기 분산이 존재하는 상황에서도 안정적인 수렴을 가능하게 하며, Zhang 등(2021)의 연구에서 영감을 받았다.
• 이중 도메인에서의 제약 위반과 원본 도메인의 타당성 간의 관계를 연결하는 새로운 이론적 분석을 도입하여, 최종 정책에서 완전한 제약 위반 없음을 보장한다.
• 이중 최적 해 $\|\mathbf{y}^*\|_1$ 및 $\|\mathbf{z}^*\|_\infty$에 비례하는 상수 $C_1$과 $C_2$를 사용한 보수적인 이중 업데이트를 통해 엄격한 원본 타당성 경계를 확보한다.
• 모델 프리 학습을 위해 설계되어 전이 확률에 대한 사전 지식이 필요 없으며, 실제 환경에 적합하다.

실험 결과

연구 질문

• RQ1 모델 기반 알고리즘을 사용하여 제약 강화학습에서 제약 위반이 전혀 없는 $Ø$-최적 누적 보상을 달성할 수 있는가?
• RQ2 환경의 전이 동역학에 대한 사전 지식 없이, CMDP에서 제약 위반이 없는 정책을 달성하기 위한 최적의 샘플 복잡도는 무엇인가?
• RQ3 보수적인 이중 제약은 어떻게 사용하여 원본 제약 위반을 완전히 방지하면서도 최적 정책 수렴을 유지할 수 있는가?
• RQ4 적응형 샘플링으로 인한 확률적 기울기 추정치의 무한한 두 번째 모멘트 문제를 원본-이중 강화학습 프레임워크에서 효과적으로 다룰 수 있는가?
• RQ5 CMDP에서 제약 위반이 없는 정책에 대해 $\tilde{\mathcal{O}}(1/\epsilon^5)$ 이하의 샘플 복잡도를 초월할 수 있는가?

주요 결과

• 제안된 CSPDA 알고리즘은 제약 위반이 전혀 없는 $Ø$-최적 누적 보상을 달성하며, $\tilde{\mathcal{O}}(1/\epsilon^2)$의 샘플 복잡도를 확립하여 새로운 최상의 성능를 달성한다.
• 이는 기존의 모델 기반 CMDP에서 제약 위반이 없는 정책에 대해 달성한 최고의 결과인 $\tilde{\mathcal{O}}(1/\epsilon^5)$에 비해 크게 향상된 결과이다.
• 알고리즘은 제약 위반을 $\|\mathbf{g}(\tilde{\mathbf{x}})_+\|_\infty \leq 2\delta / C_1$ 및 $\|\mathbf{A}\tilde{\mathbf{x}} + \mathbf{b}\|_1 \leq 2\delta / C_2$로 제한하며, $C_1 \geq 2\|\mathbf{y}^*\|_1$ 및 $C_2 \geq 2\|\mathbf{z}^*\|_\infty$를 만족한다.
• 이론적 분석은 원본 목표 함수의 갭이 $\delta$ 이하로 제한되며, 제약 위반은 $\delta / C_1$ 및 $\delta / C_2$ 비율로 감소함을 증명하여, 한계에서 완전한 제약 위반 없음을 보장한다.
• KL 발산 기반 이중 업데이트를 통해 기울기 추정치의 무한한 두 번째 모멘트 문제를 효과적으로 해결하여, 기존의 사다리꼴 방법이 실패하는 상황에서도 수렴을 가능하게 한다.
• 개념 증명 실험을 통해 이론적 결과가 검증되었으며, 알고리즘이 근사 최적 성능를 달성하면서도 제약 위반을 완전히 유지할 수 있음을 입증하였다.