[논문 리뷰] Model-Based Value Estimation for Efficient Model-Free Reinforcement Learning

Vladimir Feinberg, Alvin Wan외 4명|arXiv (Cornell University)|2018. 02. 28.

Reinforcement Learning in Robotics참고 문헌 14인용 수 168

한 줄 요약

논문은 학습된 역학 모델을 활용한 단기 상상으로 가치 추정을 개선하고 모델 없는 강화학습의 학습 속도를 높이는 하이브리드 접근 방식인 model-based value expansion (MVE)을 소개하며, 분포 불일치를 완화하기 위한 TD-k 트릭을 제안합니다.

ABSTRACT

Recent model-free reinforcement learning algorithms have proposed incorporating learned dynamics models as a source of additional data with the intention of reducing sample complexity. Such methods hold the promise of incorporating imagined data coupled with a notion of model uncertainty to accelerate the learning of continuous control tasks. Unfortunately, they rely on heuristics that limit usage of the dynamics model. We present model-based value expansion, which controls for uncertainty in the model by only allowing imagination to fixed depth. By enabling wider use of learned dynamics models within a model-free reinforcement learning algorithm, we improve value estimation, which, in turn, reduces the sample complexity of learning.

연구 동기 및 목표

• 모델-free RL의 샘플 복잡도를 학습된 역학 모델을 활용해 감소시키는 것.
• 짧은 시간 허용의 모델 기반 롤아웃을 통해 가치 추정의 정확도를 향상시키는 것.
• 연속 제어에 적합한 비미분 가능 프레임워크를 제공하는 것.
• imagined 데이터를 사용할 때의 분포 불일치를 다루고 해결책을 제시하는 것.
• 제한된 제한된 horizon의 모델 사용이 순수 모델-프리 및 기존 MB-MF 하이브리드보다 더 나은 성능을 보일 수 있음을 입증하는 것.

제안 방법

• H-step Model Value Expansion (V̂_H)을 정의하고 H 단계에 대한 상상 보상을 합산하며 step H에서 V̂를 사용합니다.
• 정책 π 하에서 미래 상태와 보상을 시뮬레이션하기 위해 근사 역학 모델 f̂를 가정합니다.
• 가까운 기간의 모델 기반 구성요소와 먼 기간의 모델-프리 꼬리를 분해하여 과도한 모델 의존성을 피합니다.
• f^π의 고정점에 근접하는 학습 분포를 구성하고 TD-k 전략을 적용하여 분포 불일치 해소를 시도합니다.
• 깊은 Actor-Critic 프레임워크(DDPG 유사)에 MVE를 통합하여 비평가의 목표가 MVE 개선 추정치를 사용하고 전이가 고정 분포 ν에서 샘플링되도록 합니다.
• 비미분 가능 역학을 허용하고 모델의 미분 가능성 여부에 의존하지 않는 정방향 예측을 사용합니다.

실험 결과

연구 질문

• RQ1 MVE가 연속 제어 작업에서 Q^π 추정의 정확도를 향상시키나요?
• RQ2 짧은 시간 허용의 모델 기반 롤아웃이 미분 가능 역학에 의존하지 않고도 모델-프리 RL의 샘플 복잡도를 감소시키나요?
• RQ3 imagined 데이터를 사용할 때 TD-k 트릭이 학습 안정성과 성능에 어떤 영향을 미치나요?
• RQ4 imagined 상태를 이용한 비평가 학습에서 학습 데이터 분포 불일치의 영향은 무엇인가요?

주요 결과

• MVE는 밀집 보상 연속 제어 작업에서 가치 추정 품질을 향상시키고 학습 속도를 높입니다.
• TD-k 트릭은 분포 불일치 문제를 완화하고 더 큰 모델 허용치를 통해 이익을 얻을 수 있게 합니다.
• 상상 버퍼 기법과 비교했을 때, horizon과 TD-k 설계가 신중하게 구성된 MVE가 실험에서 더 우수한 성능을 보입니다.
• MVE는 개선된 Q-값과 더 빠른 숙련을 제공하며, 모델 기반 부분은 정확성과 안정성을 균형 잡기 위해 짧은 허용으로 제한됩니다.