[논문 리뷰] How Does an Approximate Model Help in Reinforcement Learning?

Fei Feng, Wotao Yin외 1명|arXiv (Cornell University)|2019. 12. 06.

Reinforcement Learning in Robotics참고 문헌 29인용 수 6

한 줄 요약

이 논문은 강화학습에서 근사 모델이 값 기반 프루닝을 통해 비최적 행동을 제거함으로써 샘플 복잡도를 감소시킨다는 것을 입증한다. 이는 $\widetilde{O}(\overline{N}/(1-\gamma)^3\varepsilon^2)$개의 샘플에 대해 날카운 상한선을 제공하며, 여기서 $\overline{N}$는 근사 모델 내 근사 최적 행동의 수이며, 이에 대응하는 하한선을 증명함으로써 방법의 효과성이 선형 모델의 값 갭에 의해 엄격히 제약됨을 보여준다.

ABSTRACT

One of the key approaches to save samples in reinforcement learning (RL) is to use knowledge from an approximate model such as its simulator. However, how much does an approximate model help to learn a near-optimal policy of the true unknown model? Despite numerous empirical studies of transfer reinforcement learning, an answer to this question is still elusive. In this paper, we study the sample complexity of RL while an approximate model of the environment is provided. For an unknown Markov decision process (MDP), we show that the approximate model can effectively reduce the complexity by eliminating sub-optimal actions from the policy searching space. In particular, we provide an algorithm that uses $\widetilde{O}(N/(1-γ)^3/\varepsilon^2)$ samples in a generative model to learn an $\varepsilon$-optimal policy, where $γ$ is the discount factor and $N$ is the number of near-optimal actions in the approximate model. This can be much smaller than the learning-from-scratch complexity $\widetildeΘ(SA/(1-γ)^3/\varepsilon^2)$, where $S$ and $A$ are the sizes of state and action spaces respectively. We also provide a lower bound showing that the above upper bound is nearly-tight if the value gap between near-optimal actions and sub-optimal actions in the approximate model is sufficiently large. Our results provide a very precise characterization of how an approximate model helps reinforcement learning when no additional assumption on the model is posed.

연구 동기 및 목표

• 구조적 가정이 없을 때 근사 모델이 강화학습에서 샘플 복잡도를 얼마나 감소시키는지 이해하는 것.
• 근사 모델을 통한 전이 학습이 상당한 샘플 효율성 향상을 제공하는 조건을 규명하는 것.
• 근사 모델 내 근사 최적 행동 수에 따라 의존하는 샘플 복잡도의 상한선과 하한선을 수립하는 것.
• 근사 모델의 이점이 선형 모델 내 행동 간 값 갭에 의해 본질적으로 제한됨을 보여주는 것.

제안 방법

• 알고리즘은 TV-거리 기반으로 값 유사성을 바탕으로 진정한 모델 $\mathcal{M}$에서 최적일 수 있는 잠재 최적 행동을 식별하기 위해 사전 모델 $\mathcal{M}_0$를 사용한다.
• 탐색을 오직 이러한 잠재 최적 행동으로 제한함으로써 효과적인 행동 공간과 샘플 복잡도를 감소시킨다.
• 상한선은 생성 모델 설정과 농도 불등식을 사용하여 유도되며, $\overline{N}$은 모든 상태에서 이러한 행동의 총 수를 나타낸다.
• 하한선은 밴딧 이론의 딱딱한 예제를 통해 구성되며, $\varepsilon$-최적성을 달성하기 위해 최소 $\underline{N}$개의 행동을 탐색해야 한다고 보여준다.
• 분석은 $\mathcal{M}_0$와 $\mathcal{M}$ 사이의 작은 TV-거리가 값 함수의 $\|\cdot\|_\infty$-거리에도 작게 영향을 준다는 사실에 의존한다.
• 해당 방법은 선박 MDP에서 실증적으로 검증되었으며, 값 갭이 작고 $\varepsilon$가 작을 경우 개선 폭이 제한됨을 보여준다.

실험 결과

연구 질문

• RQ1 Markov 결정 과정에서 $\varepsilon$-최적 정책을 학습하는 데 있어 근사 모델이 샘플 복잡도를 얼마나 감소시킬 수 있는가?
• RQ2 어떤 조건에서 근사 모델이 상당한 샘플 효율성 향상을 제공하지 못하는가?
• RQ3 진짜 모델과의 TV-거리가 유한한 사전 모델을 사용할 때 샘플 복잡도에 대한 가장 날카운 상한선과 하한선은 무엇인가?
• RQ4 근사 모델의 값 갭은 강화학습에서 전이 학습의 효과성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 근사 모델 내 근사 최적 행동 수인 $\overline{N}$에 따라 $\widetilde{O}(\overline{N}/(1-\gamma)^3\varepsilon^2)$의 샘플 복잡도를 달성하며, $\overline{N} \ll SA$일 경우 복잡도가 크게 감소한다.
• 상한선은 거의 날카로우며, $\underline{N}$이 탐색해야 할 최소 행동 수를 나타내는 $\Omega(\underline{N}/(1-\gamma)^3\varepsilon^2)$의 대응하는 하한선이 확립되어 있다.
• 근사 모델 내 값 갭이 클 경우, 상한선과 하한선은 거의 날카로워지며, 탐색해야 할 행동 수가 $\overline{N}$으로 잘 근사됨을 의미한다.
• 값 갭이 작을 경우 근사 모델의 이점은 줄어들며, 사전 지식이 있음에도 불구하고 샘플 복잡도는 처음부터 학습하는 것과 유사해진다.
• 하한선은 생성 모델 및 온라인 RL 설정 모두에서 유효하며, TV-거리 기반 전이 학습의 본질적 한계를 보여준다.
• 선박 MDP에서의 실증 결과는 $\varepsilon$가 작을 경우 사전 지식가지 단지 점프스타트 수준의 개선만을 제공함을 확인하며, 이론적 최악의 경우 분석을 검증한다.