[논문 리뷰] Learning to Combat Compounding-Error in Model-Based Reinforcement Learning

Chenjun Xiao, Yifan Wu외 3명|arXiv (Cornell University)|2019. 12. 24.

Reinforcement Learning in Robotics참고 문헌 18인용 수 16

한 줄 요약

이 논문은 시간차 학습을 통해 학습된 상태에 따라 달라지는 모델 오차 추정치를 기반으로 모델 기반 강화학습에서 계획 수평을 적응적으로 선택하는 AdaMVE를 제안한다. 정확도가 떨어지는 모델 영역에서 오차가 누적되는 것을 방지하기 위해 롤아웃 수평을 동적으로 조정함으로써, AdaMVE는 샘플 효율성을 크게 향상시키고 격자형 월드 및 연속 제어 작업에서 모델 자유형 및 비적응형 모델 기반 기준보다 뛰어난 성능을 발휘한다.

ABSTRACT

Despite its potential to improve sample complexity versus model-free approaches, model-based reinforcement learning can fail catastrophically if the model is inaccurate. An algorithm should ideally be able to trust an imperfect model over a reasonably long planning horizon, and only rely on model-free updates when the model errors get infeasibly large. In this paper, we investigate techniques for choosing the planning horizon on a state-dependent basis, where a state's planning horizon is determined by the maximum cumulative model error around that state. We demonstrate that these state-dependent model errors can be learned with Temporal Difference methods, based on a novel approach of temporally decomposing the cumulative model errors. Experimental results show that the proposed method can successfully adapt the planning horizon to account for state-dependent model accuracy, significantly improving the efficiency of policy learning compared to model-based and model-free baselines.

연구 동기 및 목표

• 모델이 부정확할 경우 악성 정책 실패를 유발하는 복합 오차 문제를 해결하기 위해.
• 고정된 수평이 아닌 지역 모델 정확도에 기반해 계획 수평을 적응적으로 선택하는 방법을 개발하기 위해.
• 전반적인 모델이 불완전하더라도 국소적으로 정확한 모델 구성 요소를 활용할 수 있도록 하기 위해.
• 모델이 신뢰할 수 없는 영역에서는 모델 기반 계획과 모델 자유형 업데이트를 조합함으로써 샘플 효율성을 향상시키기 위해.
• 시간차 학습을 사용해 효율적으로 모델 오차 추정치를 학습함으로써 실시간으로 계획 수평을 적응시키기 위해.

제안 방법

• 이 방법은 계획 수평에 걸쳐 누적된 모델 오차의 새로운 시간적 분해를 도입하여, 상태에 따라 달라지는 오차 추정치를 시간차 학습으로 가능하게 한다.
• 모델 롤아웃에 대한 시간차 업데이트를 통해 훈련된 신경망을 사용해 누적 모델 오차 함수 $\hat{\mathcal{E}}(s, h)$ 를 학습한다.
• 학습된 오차 추정치에 기반해 각 상태에 대해 계획 수평을 적응적으로 선택하며, 높은 오차 영역에서는 짧은 수평을 선호한다.
• 고정된 수평을 사용하는 기존의 모델 기반 가치 확장(MVE)을 개선하기 위해, 오차 함수에 의해 결정되는 상태에 따라 달라지는 수평으로 대체한다.
• 온라인 훈련 중에 모델 품질을 향상시키기 위해 예측된 모델 오차가 낮은 데이터만 사용하는 선택적 모델 학습 전략을 도입한다.
• 모델 오차 함수 $\hat{\mathcal{E}}$ 는 기준 정책을 사용해 학습되며, 안정적이고 일반화 가능한 오차 추정치를 제공하여 모델 학습을 안내한다.

실험 결과

연구 질문

• RQ1 모델이 불완전할 경우 상태에 따라 달라지는 계획 수평이 모델 기반 RL에서 복합 오차를 줄일 수 있는가?
• RQ2 시간차 학습이 다수의 계획 단계에 걸쳐 누적된 모델 오차를 효과적으로 추정할 수 있는가?
• RQ3 적응형 수평 선택이 고정 수평 또는 모델 자유형 방법보다 샘플 효율성을 향상시키는가?
• RQ4 모델이 온라인으로 학습되고 잠재적으로 부정확할 경우에도 이 방법이 성능을 유지할 수 있는가?
• RQ5 학습된 오차 함수가 선택적 모델 학습을 안내해 전체 정책 성능을 향상시킬 수 있는가?

주요 결과

• 부정확한 모델을 가진 격자형 미로에서 AdaMVE는 모델 자유형 DDPG 및 비적응형 MVE보다 뚜렷이 뛰어난 성능을 보이며, 특히 모델이 부정확한 영역에서 유의미한 향상을 보인다.
• HalfCheetah 및 Swimmer과 같은 연속 제어 작업에서는 사전 학습된 모델을 사용한 AdaMVE가 DDPG 및 MVE를 능가하며, 샘플 효율성이 향상됨을 보여준다.
• 온라인 모델 학습을 사용할 경우, 기존의 AdaMVE는 실시간 모델 오차 추적의 불안정성으로 인해 기준보다 성능 향상을 이룰 수 없다.
• 제안된 선택적 모델 학습(SML_AdaMVE) 전략은 온라인 모델을 사용할 때도 뚜렷한 성능 향상을 이끌어내며, STEVE를 포함한 모든 기준보다 뛰어나다.
• 이 방법은 단일의 미분 가능한 모델 오차 함수를 학습하여 앙상블이나 확률적 계획 없이도 효율적이고 적응적인 수평 선택을 가능하게 한다.
• 실험 결과는 MVE의 최적 고정 수평이 일반적으로 H=1임을 보여주며, 고정 수평 접근의 한계와 적응성의 우수성을 입증한다.