[논문 리뷰] Provably Efficient Model-Free Constrained RL with Linear Function Approximation

Arnob Ghosh, Xingyu Zhou외 1명|arXiv (Cornell University)|2022. 06. 23.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 선형 함수 근사와 함께 제약된 마르코프 결정 과정에 대한 모델 자유, 시뮬레이터 자유 강화 학습 알고리즘을 처음으로 제안하며, $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$의 손실 및 제약 위반 경계를 달성한다. 이 알고리즘은 모델 추정이나 시뮬레이터 없이도 균일한 농도와 낙관주의를 보장하기 위해 수정된 LSVI-UCB 프레임워크 내에서 원천-이중 최적화와 소프트맥스 정책을 통합한다.

ABSTRACT

We study the constrained reinforcement learning problem, in which an agent aims to maximize the expected cumulative reward subject to a constraint on the expected total value of a utility function. In contrast to existing model-based approaches or model-free methods accompanied with a `simulator', we aim to develop the first model-free, simulator-free algorithm that achieves a sublinear regret and a sublinear constraint violation even in large-scale systems. To this end, we consider the episodic constrained Markov decision processes with linear function approximation, where the transition dynamics and the reward function can be represented as a linear function of some known feature mapping. We show that $ ilde{\mathcal{O}}(\sqrt{d^3H^3T})$ regret and $ ilde{\mathcal{O}}(\sqrt{d^3H^3T})$ constraint violation bounds can be achieved, where $d$ is the dimension of the feature mapping, $H$ is the length of the episode, and $T$ is the total number of steps. Our bounds are attained without explicitly estimating the unknown transition model or requiring a simulator, and they depend on the state space only through the dimension of the feature mapping. Hence our bounds hold even when the number of states goes to infinity. Our main results are achieved via novel adaptations of the standard LSVI-UCB algorithms. In particular, we first introduce primal-dual optimization into the LSVI-UCB algorithm to balance between regret and constraint violation. More importantly, we replace the standard greedy selection with respect to the state-action function in LSVI-UCB with a soft-max policy. This turns out to be key in establishing uniform concentration for the constrained case via its approximation-smoothness trade-off. We also show that one can achieve an even zero constraint violation while still maintaining the same order with respect to $T$.

연구 동기 및 목표

• 대규모 시스템에서 제약된 강화 학습을 위한 증명 가능하게 효율적이고, 모델 자유이며, 시뮬레이터 자유인 알고리즘이 부족한 문제를 해결한다.
• 고차원 또는 무한 상태 공간에서의 모델 기반 방법과 시뮬레이터 의존 알고리즘의 한계를 극복한다.
• 선형 함수 근사와 함께 에피소드 기반 제약된 MDPs에서 비선형 손실 및 제약 위반을 달성한다.
• 상태 수에 의존하지 않고 기능 차원 $d$에만 의존하는 성능 보장을 수립하여, 큰 또는 무한한 상태 공간으로의 확장 가능성을 확보한다.
• 표본 기반 설정을 넘어선 일반화 가능한 프레임워크를 개발하고, 제약된 RL에서의 함수 근사를 지원한다.

제안 방법

• 보상 최대화와 제약 충족을 균형 있게 유지하기 위해 LSVI-UCB 알고리즘을 원천-이중 최적화와 통합하여 수정한다.
• 이중 변수에 의해 가중된 보상 Q-함수와 유틸리티 Q-함수를 조합한 복합 Q-함수를 도입한다.
• 커버링 수에 의존하지 않기 위해 균일한 농도를 확보하기 위해 탐색의 부드러움-근사 균형을 활용하기 위해 탐욕적 행동 선택을 소프트맥스 정책으로 대체한다.
• 손실과 제약 위반 간의 상호 균형을 동적으로 조정하기 위해 이중 변수 업데이트 규칙을 사용한다.
• 소프트맥스 정책의 부드러움을 활용하여 가치 함수에 대한 균일한 농도 경계를 수립하고, 커버링 수에 의존하지 않는다.
• 고확률 농도 부등식과 이중 변수 분석을 활용하여 손실 및 위반 경계를 유도한다.

실험 결과

연구 질문

• RQ1 모델 자유, 시뮬레이터 자유 알고리즘이 선형 함수 근사와 함께 에피소드 기반 제약된 MDPs에서 비선형 손실 및 제약 위반을 달성할 수 있는가?
• RQ2 명시적인 모델 추정이나 시뮬레이터 없이 제약된 RL에서 균일한 농도를 어떻게 확보할 수 있는가?
• RQ3 탐색의 제약 상황에서 탐욕적 정책 선택을 소프트맥스 정책으로 대체할 경우의 영향은 무엇인가?
• RQ4 큰 $T$에서 알고리즘이 손실을 유지하면서 제약 위반을 0으로 줄일 수 있는가?
• RQ5 경계가 기능 차원 $d$, 수평 $H$, 총 단계 수 $T$에 따라 어떻게 척도가 조정되는가?

주요 결과

• 제안된 알고리즘은 높은 확률로 $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$의 손실 및 $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$의 제약 위반을 달성한다.
• 경계는 상태 수에 영향을 받지 않아, 무한하거나 매우 큰 상태 공간으로의 확장 가능성을 보장한다.
• 이 알고리즘은 전이 모델 추정이나 시뮬레이터 접근이 필요 없어 이전 연구와 구별된다.
• 작은 손실 증가를 감수함으로써, 큰 $T$에서 점차적으로 제약 위반이 0이 되는 결과를 달성할 수 있다.
• 소프트맥스 정책은 균일한 농도와 근사-부드러움 균형을 가능하게 하며, 분석에 있어 핵심적인 역할을 한다.
• 이전의 모델 자유 표본 기반 알고리즘보다 향상되었으며, 상태 수에 다항식 비례로 스케일링되는 것과 대비된다.