[논문 리뷰] Bidirectional Model-based Policy Optimization

Hang Lai, Jian Shen외 2명|arXiv (Cornell University)|2020. 07. 04.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 전방 및 후방 동역학 모델을 함께 사용하여 이중 방향 롤아웃을 생성함으로써 샘플 효율성과 渐진 성능을 향상시키는 새로운 모델기반 강화학습 방법인 이중 모델 기반 정책 최적화(Bidirectional Model-based Policy Optimization, BMPO)를 제안한다. 대칭적인 오차 전파를 통해 모델 오차의 누적 문제를 줄임으로써 수익률 이질성에 대한 더 날카운 이론적 경계를 확보하고, 연속 제어 벤치마크에서 최신 기술보다 뛰어난 성능을 달성한다.

ABSTRACT

Model-based reinforcement learning approaches leverage a forward dynamics model to support planning and decision making, which, however, may fail catastrophically if the model is inaccurate. Although there are several existing methods dedicated to combating the model error, the potential of the single forward model is still limited. In this paper, we propose to additionally construct a backward dynamics model to reduce the reliance on accuracy in forward model predictions. We develop a novel method, called Bidirectional Model-based Policy Optimization (BMPO) to utilize both the forward model and backward model to generate short branched rollouts for policy optimization. Furthermore, we theoretically derive a tighter bound of return discrepancy, which shows the superiority of BMPO against the one using merely the forward model. Extensive experiments demonstrate that BMPO outperforms state-of-the-art model-based methods in terms of sample efficiency and asymptotic performance.

연구 동기 및 목표

• 정확하지 않은 전방 동역학 모델로 인해 발생하는 모델기반 강화학습의 누적 오차 문제를 해결하기 위해.
• 뒤집힌 궤적 생성을 가능하게 하는 후방 동역학 모델을 도입하여 전방 모델 정확도에 대한 의존도를 줄이기 위해.
• 이중 방향 롤아웃을 통해 연속 제어 과제에서 샘플 효율성과 渐진 성능을 향상시키기 위해.
• 일방향 모델기반 방법보다 더 날카운 수익률 이질성 경계를 이론적으로 확립하기 위해.
• 기존 최신 기술 기반 모델기반 강화학습 접근법에 비해 이중 방향 모델링의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 만난 상태에서 시간의 양방향으로 궤적을 생성하기 위해 전방 및 후방 동역학 모델을 모두 사용하는 이중 방향 롤아웃 전략을 제안한다.
• 현재 상태와 액션을 주어진 상태에서 이전 상태를 예측하는 후방 동역학 모델을 도입하여 역방향 롤아웃을 가능하게 한다.
• 정책 최적화를 향상시키기 위해 고가치 상태를 우선적으로 선별하는 상태 샘플링 전략을 활용한다.
• 환경과의 상호작용 중 액션 선택을 개선하기 위해 모델 예측 제어(MPC)를 적용한다.
• 뒤집힌 정책 학습을 위해 최대우도추정(MLE)을 사용하며, 추론 실험을 통해 GAN 기반 학습이 덜 안정적임을 확인한다.
• 일방향 방법보다 더 날카운 수익률 이질성 경계를 이론적으로 유도하여 이중 방향 모델링의 우수성을 증명한다.

실험 결과

연구 질문

• RQ1 모델기반 강화학습에서 전방 롤아웃에 비해 이중 방향 롤아웃이 모델 오차 누적 문제를 줄이는가?
• RQ2 후방 동역학 모델의 사용이 연속 제어 과제에서 샘플 효율성과 渐진 성능을 향상시키는가?
• RQ3 BMPO의 이론적 수익률 이질성 경계는 MBPO 및 기타 전방 전용 방법과 비교해 어떻게 되는가?
• RQ4 뒤집힌 정책 손실, MPC 사용, 롤아웃 길이 등의 다양한 설계 선택 사항이 BMPO의 성능에 어떤 영향을 미치는가?
• RQ5 가치 기반 샘플링 가중치 β 및 후방 롤아웃 길이 k₁ 등의 하이퍼파rameter에 대해 BMPO는 얼마나 민감한가?

주요 결과

• BMPO는 연속 제어 벤치마크에서 MBPO와 같은 최신 모델기반 방법보다 더 높은 샘플 효율성과 더 나은 渐진 성능을 달성한다.
• 이중 방향 롤아웃 전략은 Figure 4b에서 보듯이 전방 전용 롤아웃보다 오차가 더 천천히 증가함으로써 모델 오차 누적 문제를 크게 줄였다.
• 추론 실험을 통해 전방 또는 후방 모델만 사용할 경우 양측을 모두 사용할 경우보다 성능 저하가 더 심하고, MPC를 제거해도 성능 저하가 미미함을 확인했다.
• 후방 롤아웃 길이 k₁을 전방 길이 k₂와 동일하게 설정할 경우 최적의 성능을 달성하며, 양측 모두에서 이격될 경우 성능 저하가 발생한다.
• 하이퍼파rameter β에 대해 BMPO는 뚜렷한 내성성을 보이며, 매우 높은 값에 이르면 성능 저하가 발생하기까지 한다.
• 이론적 분석을 통해 BMPO는 일방향 방법보다 더 날카운 수익률 이질성 경계를 확보함을 확인하여 이론적으로도 우수성을 입증했다.