[논문 리뷰] Is Plug-in Solver Sample-Efficient for Feature-based Reinforcement Learning?

Qiwen Cui, Lin F. Yang|arXiv (Cornell University)|2020. 10. 12.

Reinforcement Learning in Robotics참고 문헌 41인용 수 6

한 줄 요약

이 논문은 앵커 상태 가정 하에 특징 기반 강화 학습에서 플러그인 솔버 접근법—생성 모델에서 추정한 경험 모델을 구축하고 그 안에서 계획을 수행하는 방식—이 샘플 효율적임을 입증한다. 이는 $ O(K/(1-\bar{\gamma})^3\epsilon^2) $ 의 최대 최소 샘플 복잡도를 증명하며, 여기서 $ K $ 는 특징 차원이며 상태 및 행동 공간 크기와는 독립적이다. 이는 MDP에서 선형 함수 근사에 대해 거의 최적의 샘플 효율성을 보여준다.

ABSTRACT

It is believed that a model-based approach for reinforcement learning (RL) is the key to reduce sample complexity. However, the understanding of the sample optimality of model-based RL is still largely missing, even for the linear case. This work considers sample complexity of finding an $ε$-optimal policy in a Markov decision process (MDP) that admits a linear additive feature representation, given only access to a generative model. We solve this problem via a plug-in solver approach, which builds an empirical model and plans in this empirical model via an arbitrary plug-in solver. We prove that under the anchor-state assumption, which implies implicit non-negativity in the feature space, the minimax sample complexity of finding an $ε$-optimal policy in a $γ$-discounted MDP is $O(K/(1-γ)^3ε^2)$, which only depends on the dimensionality $K$ of the feature space and has no dependence on the state or action space. We further extend our results to a relaxed setting where anchor-states may not exist and show that a plug-in approach can be sample efficient as well, providing a flexible approach to design model-based algorithms for RL.

연구 동기 및 목표

• 모델 기반 강화 학습에서 플러그인 솔버가 특징 기반 MDP에서 거의 최적의 샘플 복잡도를 달성하는지 조사한다.
• 특히 선형 특징 설정에서의 함수 근사와 함께 모델 기반 강화 학습의 이론적 이해 격차를 메운다.
• 생성 모델과 플러그인 계획을 사용하여 $ \epsilon $-최적 정책을 찾는 데 필요한 최대 최소 샘플 복잡도를 설정한다.
• 앵커 상태 가정을 초월하여 더 일반적인 특징 조건으로 결과를 확장한다.

제안 방법

• 플러그인 솔버 접근법 제안: 생성 모델에서 전이 모델을 추정하고, 임의의 솔버를 사용해 경험 모델 내에서 계획을 수행한다.
• 보조 MDP를 도입하여 가치 함수를 근사하며, 가치 함수가 일차원 다양체 위에 존재한다는 사실을 활용한다.
• 허프딩 부등식과 농도 경계를 사용해 전이 행렬의 추정 오차를 통제한다.
• 앵커 상태 가정을 통해 특징 공간 내의 음수를 방지함으로써 더 날카로운 일반화 경계를 확보한다.
• 매개변수 집합에 대한 이산화 접근을 통해 진짜 가치 함수와 경험 가치 함수 간의 편차를 경계한다.
• 벨만 연산자와 수축 원리를 반복 적용하여 샘플 복잡도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 특징 기반 MDP에서 플러그인 솔버 접근법이 샘플 효율적인가?
• RQ2 앵커 상태 가정 하에 $ \epsilon $-최적 정책을 찾는 데 필요한 최대 최소 샘플 복잡도는 무엇인가?
• RQ3 앵커 상태가 존재하지 않을 경우 플러그인 접근법이 여전히 샘플 효율적인가?
• RQ4 샘플 복잡도가 특징 차원 $ K $, 할인 요소 $ \gamma $, 오차 허용 범위 $ \epsilon $ 와 어떻게 스케일링되는가?
• RQ5 분석을 유한 수명 MDP와 양자택일 스토케스틱 게임으로 확장할 수 있는가?

주요 결과

• 앵커 상태 가정 하에 $ \epsilon $-최적 정책을 찾는 데 필요한 최대 최소 샘플 복잡도는 $ O(K/(1-\gamma)^3\epsilon^2) $ 이며, 상태 및 행동 공간 크기와는 독립적이다.
• 샘플 복잡도는 특징 차원 $ K $, 할인 요소 $ \gamma $, 그리고 원하는 정확도 $ \epsilon $ 에만 의존한다.
• 플러그인 접근법은 샘플 복잡도에서 최대 최소 최적성을 달성하며, 이론적 하한선과 로그 인자 외에는 일치한다.
• 앵커 상태가 없는 완화된 설정에서는 샘플 복잡도가 $ \widetilde{O}(K \cdot \text{poly}(1/(1-\gamma)))/\epsilon^2 $ 로, 여전히 효율적이고 확장 가능하다.
• 보조 MDP 기법은 기존 함수 근사 설정에서 분석을 방해하는 통계적 종속성을 성공적으로 분리한다.
• 결과는 유한 수명 MDP와 두 명의 플레이어가 번갈아가며 플레이하는 스토케스틱 게임으로도 확장되었으며, 광범위한 적용 가능성을 보여준다.