[논문 리뷰] Model-based RL in Contextual Decision Processes: PAC bounds and Exponential Improvements over Model-free Approaches

Wen Sun, Nan Jiang외 3명|arXiv (Cornell University)|2018. 11. 21.

Reinforcement Learning in Robotics참고 문헌 39인용 수 17

한 줄 요약

이 논문은 증거 랭크라는 새로운 구조적 파라미터를 통해 증명 가능하게 향상된 표본 효율성을 보장하는, 문맥적 결정 과정에 대한 새로운 모델 기반 강화 학습 알고리즘을 제안한다. 모델 기반 방법은 사실화된 MDP에서 다항 표본 복잡도를 달성하는 반면, 모델리스 접근법—예를 들어 OLIVE—는 지수 표본 복잡도를 겪으며, 실현 가능성 가정 하에 표본 효율성에서 지수적 분리가 발생함을 입증한다.

ABSTRACT

We study the sample complexity of model-based reinforcement learning (henceforth RL) in general contextual decision processes that require strategic exploration to find a near-optimal policy. We design new algorithms for RL with a generic model class and analyze their statistical properties. Our algorithms have sample complexity governed by a new structural parameter called the witness rank, which we show to be small in several settings of interest, including factored MDPs. We also show that the witness rank is never larger than the recently proposed Bellman rank parameter governing the sample complexity of the model-free algorithm OLIVE (Jiang et al., 2017), the only other provably sample-efficient algorithm for global exploration at this level of generality. Focusing on the special case of factored MDPs, we prove an exponential lower bound for a general class of model-free approaches, including OLIVE, which, when combined with our algorithmic results, demonstrates exponential separation between model-based and model-free RL in some rich-observation settings.

연구 동기 및 목표

• 풍부한 관측값을 가진 일반적인 문맥적 결정 과정에서 모델 기반 RL에 대한 이론적 기반을 구축하기 위해.
• 모델 기반 RL에서 표본 복잡도를 결정짓는 새로운 구조적 파라미터인 증거 랭크를 규명하기 위해.
• 모델 기반 방법이 사실화된 MDP와 같은 설정에서 모델리스 방법보다 지수적으로 더 높은 표본 효율성을 가질 수 있음을 입증하기 위해.
• 증거 랭크와 벨만 랭크를 비교하여, 증거 랭크가 항상 더 작거나 같고, 지수적으로 작을 수 있음을 보여주기 위해.
• 표본형식이나 고도로 구조화된 제어 이론적 가정에 의존하지 않는 일반 CDP에 대해 처음으로 증명 가능한 효율성 보장을 제공하는 모델 기반 알고리즘을 제시하기 위해.

제안 방법

• 일반적인 모델 클래스 M를 사용하여 문맥적 결정 과정에서의 모델 기반 RL을 위한 새로운 알고리즘을 제안한다.
• 모델의 표본 복잡도를 제한하는 구조적 파라미터인 증거 랭크를 도입하며, 이는 벨만 오차 프레임워크 내에서의 증거 모델 오차에서 유도된다.
• 에포크와 반복 단계를 거쳐 계층적인 표본 추출 및 제거 전략을 적용하며, 신뢰 구간에 기반한 적응형 표본 크기를 사용한다.
• 모델 간의 차이를 측정하기 위해 증거 모델 오차 함수 W(M, M′, h)를 사용하며, 이는 상태-행동 분포에 대한 기대값을 통해 정의된다.
• 집중 불등식과 유니온 바운드를 적용하여 정책 품질과 모델 추정의 고확률 보장을 확보한다.
• 지수 가족 모델 클래스를 분석하고, 일정 상수 이내에서 벨만 지배가 성립함을 증명하여, 이러한 설정에서 증거 랭크의 사용이 타당함을 입증한다.

실험 결과

연구 질문

• RQ1 일반적인 문맥적 결정 과정에서 모델 기반 RL이 모델리스 RL보다 현저히 높은 표본 복잡도를 달성할 수 있는가?
• RQ2 표본 복잡도를 기반으로 한 모델 기반 RL의 구조적 파라미터는 표본형식이나 제어 이론적 설정을 초월하여 존재하는가?
• RQ3 증거 랭크는 크기와 알고리즘적 함의 측면에서 벨만 랭크와 어떻게 비교되는가?
• RQ4 실현 가능성 가정이 있음에도 불구하고, 사실화된 MDP와 같은 풍부한 관측 설정에서 모델리스 방법이 증명 가능한 비효율성을 보일 수 있는가?
• RQ5 모델 기반 학습에서 더 강력한 실현 가능성 가정과 표본 효율성 사이의 이론적 트레이드오프는 무엇인가?

주요 결과

• 제안된 모델 기반 알고리즘은 사실화된 MDP에서 다항 표본 복잡도를 달성하는 반면, OLIVE와 같은 모델리스 방법은 지수 표본 복잡도를 겪는다.
• 증거 랭크는 벨만 랭크보다 항상 크거나 같지 않으며, 지수적으로 작을 수 있어 더 뛰어난 표본 효율성을 의미한다.
• 사실화된 MDP에서는 증거 랭크가 작아지므로, 고차원 관측값이 존재하더라도 효율적인 학습이 가능하다.
• 진짜 모델이 모델 클래스에 포함되어 있음을 가정할 경우, 출력 정책이 고확률로 ϵ-최적임을 보장한다.
• 지수 가족 모델에서는 증거 모델 오차가 일정 요인 이내에서 벨만 오차를 상한선으로 제시하므로, 실용적 설정에서 증거 랭크의 사용이 타당함을 검증한다.
• 총 표본 복잡도는 ˜O((1 + log(4Wκ⋆/κ⋆))H³KW²κ⋆log(Ti⋆,₀|M||F|/δi⋆,i⋆)/(κ⋆ϵ)²)이며, 이는 관련 파라미터에 대해 다항식이다.