[논문 리뷰] Efficient Reinforcement Learning in Factored MDPs with Application to Constrained RL

Xiaoyu Chen, Jiachen Hu외 2명|arXiv (Cornell University)|2020. 08. 30.

Reinforcement Learning in Robotics참고 문헌 27인용 수 6

한 줄 요약

이 논문은 인과적 마르코프 결정 과정(FMDPs)을 위한 효율적인 강화학습 알고리즘인 FMDP-BF를 제안하며, 비인과적 MDP 알고리즘보다 회귀(regret)가 지수적으로 더 나은 스케일링을 달성한다. 인과적 상태와 행동의 구조를 활용함으로써, 이전 작업 대비 $\sqrt{nH|\mathcal{S}_i|}$ 배수만큼 회귀를 감소시키며, 이 프레임워크를 새로운 제약 조건이 있는 강화학습 설정—배낭 제약 조건이 있는 강화학습—에 적용하여 근사 최적의 회귀 한계를 달성한다.

ABSTRACT

Reinforcement learning (RL) in episodic, factored Markov decision processes (FMDPs) is studied. We propose an algorithm called FMDP-BF, which leverages the factorization structure of FMDP. The regret of FMDP-BF is shown to be exponentially smaller than that of optimal algorithms designed for non-factored MDPs, and improves on the best previous result for FMDPs~\\citep{osband2014near} by a factored of $\\sqrt{H|\\mathcal{S}_i|}$, where $|\\mathcal{S}_i|$ is the cardinality of the factored state subspace and $H$ is the planning horizon. To show the optimality of our bounds, we also provide a lower bound for FMDP, which indicates that our algorithm is near-optimal w.r.t. timestep $T$, horizon $H$ and factored state-action subspace cardinality. Finally, as an application, we study a new formulation of constrained RL, known as RL with knapsack constraints (RLwK), and provides the first sample-efficient algorithm based on FMDP-BF.

연구 동기 및 목표

• 에피소드 기반 인과 MDPs(FMDPs)에 대해 샘플 및 계산 효율적인 RL 알고리즘을 개발하고, 증명 가능한 개선된 회귀 한계를 확보한다.
• FMDPs에서의 회귀에 대한 이론적 하한을 설정하여 제안된 알고리즘이 근사 최적임을 입증한다.
• FMDP-BF 프레임워크를 새로운 제약 조건 기반 RL 설정—배낭 제약 조건이 있는 강화학습(RLwK)—로 확장하여 실생활 응용에 대비한다.
• 시간 영역 $H$, 인과적 상태-행동 부분공간의 기수 $|\mathcal{S}_i|$, 그리고 전이 수 $n$ 에 대해 FMDP-BF의 회귀가 어떻게 유리하게 스케일링되는지 보여준다.
• 연속적인 비용 분포에서의 비연속적인 가치 함수 문제를 다루며, 느슨한 제약 조건 또는 소프트 페널티를 통한 타당한 확장 방안을 제안한다.

제안 방법

• FMDP-BF는 상태-행동 부분공간의 인과적 구조를 활용하여 불확실성에 대한 낙관주의 원칙(OFU)을 적용하며, 가치 함수에 대한 상한 및 하한 신뢰 구간을 유지한다.
• 알고리즘은 인과적 상태-행동 부분공간에 대해 중첩된 벨먼 백업을 수행하며, 탐색과 이용의 균형을 위해 $\sqrt{\log(T)/N(s,a)}$ 비례로 신뢰 구간을 조정한다.
• 각 상태와 예산 $\bm{b}$에 대해 별도의 상한 및 하한 $\overline{V}_{k,h}(s,\bm{b})$ 및 $\underline{V}_{k,h}(s,\bm{b})$를 유지하여 불확실성 하에서 강력한 정책 선택을 가능하게 한다.
• 배낭 제약 조건이 있는 강화학습 설정에서는 예산 제약 조건 $\bm{b}$를 가치 함수와 정책에 통합하며, 추정된 비용 분포와 신뢰 구간에 기반한 업데이트를 수행한다.
• 모든 가능한 예산 $\bm{b}$와 상태-행동 쌍에 대한 유니온 바운드를 사용하며, 과대추정 위험을 통제하기 위해 로그 항 $\log(Bm)$ 을 도입한다.
• 연속적인 비용 분포를 다루기 위해 느슨한 $\epsilon$-넷 접근법 또는 선형 페널티를 활용한 소프트 제약 조건을 도입하여 부드러움과 해석 가능성 확보.

실험 결과

연구 질문

• RQ1 기존 비인과적 MDP 알고리즘보다 현저히 개선된 회귀 성능을 보이는 인과 MDPs를 위한 RL 알고리즘을 설계할 수 있는가?
• RQ2 Osband & Van Roy (2014b)에 비해 $\sqrt{nH|\mathcal{S}_i|}$ 배수의 개선을 달성한 회귀 한계가 타당한가, 또는 이는 근사 최적성을 확인하는 하한을 통해 입증될 수 있는가?
• RQ3 FMDP-BF 프레임워크는 배낭 스타일의 자원 제약 조건이 있는 제약 조건 기반 RL 문제로 확장될 수 있는가?
• RQ4 연속적인 비용 분포는 제약 조건이 있는 인과 FMDPs에서 회귀와 정책의 부드러움에 어떤 영향을 미치며, 이를 효율적으로 다룰 수 있는가?
• RQ5 연속적인 예산 공간에서 회귀 효율성을 유지하기 위해 MDP 설정에 어떤 수정(예: 소프트 제약 조건)이 필요한가?

주요 결과

• FMDP-BF는 기존 최적의 비인과적 MDP 알고리즘보다 지수적으로 더 작은 회귀 한계를 달성하며, Osband & Van Roy (2014b)에 비해 $\sqrt{nH|\mathcal{S}_i|}$ 배수만큼 개선된다.
• 논문은 FMDPs에 대한 회귀 하한을 설정하여, 제안된 알고리즘의 회귀가 $T$, $H$, $|\mathcal{S}_i|$ 에 대해 근사 최적임을 입증한다.
• 새로운 RLwK 설정에 대해 FMDP-BF는 $T$, $S$, $A$, $H$ 에 대해 근사 최적의 회귀를 달성하는 첫 번째 샘플 효율적인 알고리즘을 제공한다.
• 알고리즘은 모든 가능한 예산 상태 $\bm{b}$에 대한 신뢰 구간을 유지하며, 예산 구성에 대한 유니온 바운드로 인해 $\log(Bm)$ 항이 회귀 한계에 포함된다.
• 연속적인 비용 설정에서는 잔여 예산에 대한 가치 함수의 비연속성으로 인해 직접 추정이 불가능하다. 이에 대해 논문은 느슨한 $\epsilon$-넷 또는 소프트 제약 조건을 타당한 대안으로 제안한다.
• 이론적 분석은 OFU 원칙이 인과적 구조에 적용될 경우, 계산 효율성을 희생시키지 않고도 회귀를 크게 감소시킬 수 있음을 확인한다.