[논문 리뷰] Towards a Simple Approach to Multi-step Model-based Reinforcement Learning

Kavosh Asadi, Evan Cater외 2명|arXiv (Cornell University)|2018. 10. 31.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 긴 행동 시퀀스의 결과를 예측하는 단순한 다단계 모델 기반 강화학습 방법을 제안한다. 이 방법은 정책 조건부 롤아웃을 포함하여, 한 단계 모델에서 흔히 발생하는 누적 오차를 줄이는 데 목적이 있다. 이 방법은 장기적인 예측 정확도를 크게 향상시키며, 초도 Atari Breakout 실험에서 한 단계 모델을 능가하여 샘플 효율적인 강화학습에서 효과적인 계획 수단으로서의 잠재력을 입증한다.

ABSTRACT

When environmental interaction is expensive, model-based reinforcement learning offers a solution by planning ahead and avoiding costly mistakes. Model-based agents typically learn a single-step transition model. In this paper, we propose a multi-step model that predicts the outcome of an action sequence with variable length. We show that this model is easy to learn, and that the model can make policy-conditional predictions. We report preliminary results that show a clear advantage for the multi-step model compared to its one-step counterpart.

연구 동기 및 목표

• 한 단계 모델 기반 강화학습에서 발생하는 누적 오차 문제를 해결하기 위해, 작은 오차가 롤아웃 과정에서 누적되는 문제를 다루기 위함.
• 변수 길이의 행동 시퀀스 또는 정책의 결과를 예측할 수 있는 단순하고 학습 가능한 다단계 모델을 개발하기 위함.
• 더 효과적인 계획 수단을 제공하기 위해 정책 조건부 예측을 가능하게 하기 위함.
• 가치 함수 최적화 및 장기 예측 작업에서 다단계 모델의 성능을 평가하기 위함.
• 복잡한 환경에서 장기 예측을 위한 다단계 모델이 한 단계 모델보다 더 효과적임을 입증하기 위함.

제안 방법

• 모델은 상태 $ s $ 에서 시작하여 행동 시퀀스를 실행한 후 상태 $ s' $ 에 도달할 확률을 예측하는 전이 함수 $ T^n(s, s', \text{actions}) $ 를 학습한다. 이는 가변 길이의 행동 시퀀스를 고려한다.
• 모델은 직접적으로 다단계 결과를 예측하도록 학습되어, 반복적인 한 단계 롤아웃에 대한 의존도를 줄이고 오차 전파를 최소화한다.
• 정책 조건부 예측은 $ T^n(s, s', \theta) $ 를 통해 가능해지며, 여기서 $ \theta $ 는 정책을 나타낸다. 이는 특정 행동 전략 하에서의 계획을 가능하게 한다.
• 모델은 가치 함수 최적화를 위해 액터-크리틱 강화학습에 통합되며, 모델 예측 수익을 사용해 크리틱을 업데이트한다.
• 모델은 예측된 미래 상태의 정확도를 기반으로 한 손실을 사용하여, 시연되거나 수집된 트레이젝터리 데이터를 기반으로 지도학습 방식으로 종합적으로 학습된다.
• 추론 과정에서 반복적인 롤아웃을 피하기 위해 장기 예측 결과를 직접 예측함으로써 샘플 효율성과 계획의 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 행동 시퀀스 결과를 예측하도록 훈련된 다단계 모델이 한 단계 모델에 비해 누적 오차를 줄일 수 있는가?
• RQ2 정책 조건부 예측 기능이 모델 기반 강화학습에서 계획 성능을 향상시키는가?
• RQ3 비용이 많이 드는 상호작용을 요구하는 환경에서 다단계 모델이 한 단계 모델보다 더 높은 장기 예측 정확도를 달성할 수 있는가?
• RQ4 액터-크리틱 프레임워크에서 가치 함수 최적화에 사용될 때 다단계 모델이 효과적인가?
• RQ5 직접적인 다단계 훈련이 반복적인 한 단계 롤아웃에 비해 더 안정적이고 정확한 롤아웃을 제공하는가?

주요 결과

• 다단계 모델은 장기적인 상태 예측에서 한 단계 모델보다 뚜렷이 뛰어나며, 특히 여러 타임스텝 이후에 두드러진다.
• Atari Breakout에서의 초도 실험 결과, 다단계 모델은 한 단계 모델보다 더 긴 수평선에서 더 높은 프레임 예측 정확도를 달성했다.
• 모델은 정확한 정책 조건부 예측을 가능하게 하여, 에이전트가 특정 행동 전략 하에서 계획을 수행할 수 있도록 한다.
• 한 단계 모델의 조합 방식은 장기 예측 계획에서 매우 오류가 많고 종종 치명적인 결과를 초래하는 것으로 밝혀졌다.
• 다단계 모델은 반복적인 예측에 의존하지 않고 직접 결과를 예측함으로써 오차 누적를 줄였다.
• 결과는 한 단계 모델이 제한된 이점을 제공하며, 효과적인 계획을 위해 다단계 모델링 방식을 선호해야 한다는 것을 시사한다.