[논문 리뷰] Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning

Zifan Wu, Chao Yu외 3명|arXiv (Cornell University)|2023. 01. 20.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 모델 롤아웃을 순차적 결정 문제로 간주함으로써 현재 정책 하에서 불확실성을 사전에 예측할 수 있도록 하는 새로운 모델 기반 강화학습 프레임워크인 Plan To Predict (P2P)를 제안한다. P2P는 정책에 의해 유도된 상태 분포상에서 다단계 예측 오차를 최소화하여, 더 높은 샘플 효율성과 정책 안정성을 확보하면서 도전적인 MBRL 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In Model-based Reinforcement Learning (MBRL), model learning is critical since an inaccurate model can bias policy learning via generating misleading samples. However, learning an accurate model can be difficult since the policy is continually updated and the induced distribution over visited states used for model learning shifts accordingly. Prior methods alleviate this issue by quantifying the uncertainty of model-generated samples. However, these methods only quantify the uncertainty passively after the samples were generated, rather than foreseeing the uncertainty before model trajectories fall into those highly uncertain regions. The resulting low-quality samples can induce unstable learning targets and hinder the optimization of the policy. Moreover, while being learned to minimize one-step prediction errors, the model is generally used to predict for multiple steps, leading to a mismatch between the objectives of model learning and model usage. To this end, we propose \emph{Plan To Predict} (P2P), an MBRL framework that treats the model rollout process as a sequential decision making problem by reversely considering the model as a decision maker and the current policy as the dynamics. In this way, the model can quickly adapt to the current policy and foresee the multi-step future uncertainty when generating trajectories. Theoretically, we show that the performance of P2P can be guaranteed by approximately optimizing a lower bound of the true environment return. Empirical results demonstrate that P2P achieves state-of-the-art performance on several challenging benchmark tasks.

연구 동기 및 목표

• 정책 업데이트로 인한 분포 이탈로 인해 발생하는 모델 편향 문제를 해결하기 위해.
• MBRL에서 단일 단계 모델 학습과 다단계 모델 사용 간의 目표 불일치 문제를 해결하기 위해.
• 궤적 생성 중에 미래의 불확실성을 사전에 예측함으로써 고불확실성 영역을 능동적으로 피할 수 있도록 모델을 가능하게 하기 위해.
• 모델 학습을 현재 정책이 유도하는 상태 분포와 일치시킴으로써 샘플 효율성과 정책 학습 안정성을 향상시키기 위해.
• 제안된 다단계 손실에 대한 이론적 근거를 제공하고, 도전적인 벤치마크에서의 경험적 우수성을 입증하기 위해.

제안 방법

• 모델가 결정자로, 정책가 환경 역학으로 역할을 전환함으로써 모델 롤아웃을 순차적 결정 문제로 재정의한다.
• 현재 정책 하에서 생성된 궤적을 기반으로 누적 예측 오차를 최소화할 수 있도록 강화학습을 통해 모델을 훈련시킨다.
• 정책에 의해 유도된 상태 분포를 활용하여 모델 훈련을 이끌어내어 정책 변화에 빠르게 적응하도록 한다.
• 미래 상태의 기대 오차를 최소화함으로써 진정한 환경 수익을 근사하는 다단계 손실 함수를 도입한다.
• 계획 과정 내에서 불확실성 측정을 활용하여 모델이 정확도가 낮을 가능성이 높은 영역을 피한다.
• 낮은 불확실성과 높은 수익을 가진 궤적을 우선시하는 정책 조건부 롤아웃 전략을 학습한다.

실험 결과

연구 질문

• RQ1 모델이 궤적 생성 전에 미래 상태의 불확실성을 사전에 예측할 수 있을까? 즉, 샘플링 후 수동적으로 반응하는 것이 아니라 능동적으로 대응할 수 있을까?
• RQ2 모델 학습의 목적을 실제로 다단계 롤아웃에서 사용되는 모델의 기능과 어떻게 일치시킬 수 있을까?
• RQ3 모델 롤아웃을 순차적 결정 문제로 간주함으로써 MBRL에서 샘플 효율성과 정책 성능을 향상시킬 수 있을까?
• RQ4 현재 정책 하에서 능동적인 계획 수립이 누적 예측 오차를 낮추고 정책 최적화의 안정성을 높일 수 있을까?
• RQ5 제안된 프레임워크는 도전적인 고차원 제어 작업 및 오프라인 RL 설정으로 일반화될 수 있을까?

주요 결과

• P2P는 다양한 도전적인 D4RL 벤치마크 작업에서 최신 기술 수준의 성능을 달성하여, 이전의 MBRL 방법보다 샘플 효율성과 최종 수익에서 뛰어난 성능을 보였다.
• P2P의 모델은 현재 정책 하에서 계획을 수행함으로써 고불확실성 영역을 능동적으로 피함으로써 저품질, 고오차 궤적 생성 위험을 감소시켰다.
• 경험적 결과는 P2P가 기준 방법 대비 정책에 의해 유도된 궤적에서 다단계 예측 오차를 크게 감소시킴을 보여주었다.
• 이론적 분석을 통해 P2P가 진정한 환경 수익의 하한을 근사적으로 최적화함을 확인하여, 그 설계의 타당성을 뒷받침했다.
• 초기 오프라인 RL 실험에서 P2P는 유망한 성능을 보이며 광범위한 적용 가능성을 시사했다.
• P2P는 다단계 계획에서 실제 정책 사용과 모델 학습 목표를 일치시킴으로써 모델 편향 문제를 효과적으로 완화했다.