[논문 리뷰] Model-Based Reinforcement Learning in Contextual Decision Processes.

Wen Sun, Nan Jiang외 3명|arXiv (Cornell University)|2018. 11. 21.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 샘플 복잡도가 새로운 구조적 파라미터인 워치먼트 랭크(witness rank)에 의해 결정되는 모델 기반 강화학습 알고리즘을 제안한다. 이는 벨먼 랭크(Bellman rank)보다 엄밀히 작다는 것이 증명된다. 저자들은 관찰 공간이 풍부한 환경, 예를 들어 인자화된 MDPs(Factored MDPs)에서 모델 기반과 모델 프리 모델 간의 지수적 샘플 효율성 격차를 보이며, 모델 기반 방법이 훨씬 더 샘플 효율적일 수 있음을 보여준다.

ABSTRACT

We study the sample complexity of model-based reinforcement learning in general contextual decision processes. We design new algorithms for RL with an abstract model class and analyze their statistical properties. Our algorithms have sample complexity governed by a new structural parameter called the witness rank, which we show to be small in several settings of interest, including Factored MDPs and reactive POMDPs. We also show that the witness rank of a problem is never larger than the recently proposed Bellman rank parameter governing the sample complexity of the model-free algorithm OLIVE (Jiang et al., 2017), the only other provably sample efficient algorithm at this level of generality. Focusing on the special case of Factored MDPs, we prove an exponential lower bound for all model-free approaches, including OLIVE, which when combined with our algorithmic results demonstrates exponential separation between model-based and model-free RL in some rich-observation settings.

연구 동기 및 목표

• 일반적인 문맥적 결정 과정에서 모델 기반 강화학습의 샘플 복잡도를 분석하는 것.
• 모델 기반 학습의 복잡도를 특징짓는 데 사용할 수 있는 새로운 구조적 파라미터인 워치먼트 랭크를 도입하는 것.
• 워치먼트 랭크가 항상 모델 프리 강화학습의 최신 기준 파라미터인 벨먼 랭크보다 작다는 것을 보여주는 것.
• 풍부한 관찰 환경에서 모델 기반과 모델 프리 접근 방식 간의 지수적 샘플 복잡도 격차를 확립하는 것.
• 관찰 구조가 복잡한 환경에서 모델 기반 방법의 우월성에 대한 이론적 근거를 제공하는 것.

제안 방법

• 저자들은 환경의 동역학을 나타내는 추상적 모델 클래스를 사용하여 새로운 모델 기반 강화학습 알고리즘을 설계한다.
• 모델 클래스가 최적 행동을 '관측할 수 있는 능력'을 측정하는 구조적 파라미터인 워치먼트 랭크를 도입한다.
• 이 파라미터를 활용해 샘플 복잡도를 제한함으로써 최적 정책 학습 시 데이터 효율성을 보장한다.
• 워치먼트 랭크가 기존 파라미터인 벨먼 랭크와 어떻게 연결되는지 분석하여, 워치먼트 랭크가 결코 크지 않음을 보여준다.
• 이 방법은 인자화된 MDPs와 반응형 POMDPs를 포함한 일반적인 문맥적 결정 과정에 적용 가능하다.
• 통계적 학습 기법을 모델 기반 강화학습에 맞게 조정하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습의 샘플 복잡도는 환경 모델의 구조에 따라 어떻게 달라지는가?
• RQ2 기존 파라미터보다 모델 기반 학습의 복잡도를 더 격차 있게 캡처할 수 있는 새로운 구조적 파라미터를 정의할 수 있는가?
• RQ3 일반적인 문맥적 결정 과정에서 워치먼트 랭크는 항상 벨먼 랭크보다 작을까?
• RQ4 풍부한 관찰 환경에서 모델 기반 강화학습은 모델 프리 방법보다 지수적 샘플 효율성을 확보할 수 있는가?
• RQ5 인자화된 MDPs와 같은 환경에서 모델 프리 강화학습의 근본적 한계는 무엇인가?

주요 결과

• 워치먼트 랭크는 벨먼 랭크보다 크지 않으며, 이는 워치먼트 랭크를 사용하는 모델 기반 알고리즘이 OLIVE와 같은 모델 프리 방법보다 최소한 동일한 샘플 복잡도를 달성할 수 있음을 의미한다.
• 인자화된 MDPs에서는 모든 모델 프리 접근 방식(OLIVE 포함)에 대해 지수적 하한선을 증명한다.
• 이 하한선과 저자들이 제안한 모델 기반 알고리즘의 상한선을 조합함으로써, 풍부한 관찰 환경에서 모델 기반과 모델 프리 강화학습 간의 지수적 샘플 복잡도 격차를 확립한다.
• 실제 응용 환경인 인자화된 MDPs와 반응형 POMDPs에서 워치먼트 랭크가 작다는 게 입증되어 강력한 데이터 효율성을 시사한다.
• 결과적으로, 관찰 구조가 복잡한 환경에서 모델 기반 강화학습이 모델 프리 강화학습보다 지수적으로 더 샘플 효율적일 수 있음을 보여준다.
• 이론적 프레임워크는 일반적인 문맥적 결정 과정에서 모델 기반과 모델 프리 강화학습을 통합적으로 분석하고 비교할 수 있는 방법을 제공한다.