[논문 리뷰] Contextual Decision Processes with Low Bellman Rank are PAC-Learnable

Nan Jiang, Akshay Krishnamurthy외 3명|arXiv (Cornell University)|2016. 10. 29.

Neural Networks and Applications인용 수 153

한 줄 요약

이 논문은 Contextual Decision Processes (CDPs)와 낮은 Bellman 순위 조건을 도입하고, 컨텍스트 공간 크기에 무관하게 근사 최적 정책을 학습하는 PAC 보장을 갖는 Olive 알고리즘을 제시한다.

ABSTRACT

This paper studies systematic exploration for reinforcement learning with rich observations and function approximation. We introduce a new model called contextual decision processes, that unifies and generalizes most prior settings. Our first contribution is a complexity measure, the Bellman rank, that we show enables tractable learning of near-optimal behavior in these processes and is naturally small for many well-studied reinforcement learning settings. Our second contribution is a new reinforcement learning algorithm that engages in systematic exploration to learn contextual decision processes with low Bellman rank. Our algorithm provably learns near-optimal behavior with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The approach uses Bellman error minimization with optimistic exploration and provides new insights into efficient exploration for reinforcement learning with function approximation.

연구 동기 및 목표

• 통합된 CDP 프레임워크 하에서 풍부한 관측 및 함수 근사를 활용한 강화학습의 동기 부여.
• Bellman rank를 CDP에서 탐구 가능한 구조를 포착하는 복잡도 측정치로 정의.
• Bellman 오차 기반 제거와 함께 낙관적 탐색을 결합한 Olive 알고리즘 제안.
• 샘플 복잡도가 poly(M, H, K, 그리고 log 요소들)에 다항적이고 컨텍스트 공간 크기에 의존하지 않는 PAC 보장을 증명.

제안 방법

• CDPs를 컨텍스트를 통해 MDP 및 POMDP를 포함하는 일반 RL 모델로 형식화.
• Bellman 인수분해 및 Bellman rank를 도입해 탐구 가능한 구조를 정량화.
• CDP 설정에 대한 평균 Bellman 오차와 Bellman 방정식을 정의.
• Bellman 오차를 이용한 Elimination을 반복적으로 수행하는 Optimism Led Iterative Value-function Elimination인 Olive를 개발.
• 샘플 복잡도가 poly(M, H, K, 1/ε, log N, 1/δ)이고 컨텍스트 공간 크기에 의존하지 않는다는 PAC 보장을 제시.

실험 결과

연구 질문

• RQ1 풍부한 관측과 함수 근사를 사용하는 CDP에서 근사 최적 정책을 효율적으로 학습할 수 있는가?
• RQ2 Bellman rank가 다양한 RL 설정에서 탐색의 원활함을 어떻게 정량화하는가?
• RQ3 저 Bellman rank를 가진 MDP, POMDP 및 관련 모델에 대해 단일 알고리즘이 PAC 보장을 제공할 수 있는가?
• RQ4 Bellman 오차 최소화와 낙관적 탐색의 결합이 샘플 효율성 달성에 어떤 역할을 하는가?

주요 결과

• Bellman rank가 낮은 CDP는 계산적으로 다루기 쉽고 샘플 효율적 학습이 가능하다.
• Olive는 PAC 보장을 달성한다: ε-하위 최적 정책을 찾는 trajactory의 수가 tilde-ODE poly(M, H, K, log(N/δ), 1/ε)이다.
• 샘플 복잡도는 컨텍스트 공간의 크기에 의존하지 않아 풍부한 관측과 함수 근사를 효과적으로 활용할 수 있다.
• Bellman rank 프레임워크는 표 구 MDP, 저선형 MDP, 반응형 POMDP, PSR 및 LQR에 적용되며(연속 행동에 대한 주의 필요)
• 이 방법은 Bellman 오차 최소화와 낙관적 탐색을 연결해 함수 근사 하에서 탐색에 대한 새로운 통찰을 제공한다.