[논문 리뷰] Combating the Compounding-Error Problem with a Multi-step Model

Kavosh Asadi, Dipendra Misra외 2명|arXiv (Cornell University)|2019. 05. 30.

Software Reliability and Analysis Research참고 문헌 64인용 수 27

한 줄 요약

이 논문은 한 번의 동작 시퀀스 실행 결과를 직접 예측함으로써, 단일 단계 모델에서 발생하는 누적 오차 문제를 피하는 모델 기반 강화학습을 위한 다단계 모델(M³)을 제안한다. 중간에 가짜 상태 예측에 의존하지 않음으로써 M³는 배경 및 결정 시점 계획 수단에서 더 정확한 가치 추정과 더 나은 행동 선택을 가능하게 하며, 실험 결과로 단일 단계 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Model-based reinforcement learning is an appealing framework for creating agents that learn, plan, and act in sequential environments. Model-based algorithms typically involve learning a transition model that takes a state and an action and outputs the next state---a one-step model. This model can be composed with itself to enable predicting multiple steps into the future, but one-step prediction errors can get magnified, leading to unacceptable inaccuracy. This compounding-error problem plagues planning and undermines model-based reinforcement learning. In this paper, we address the compounding-error problem by introducing a multi-step model that directly outputs the outcome of executing a sequence of actions. Novel theoretical and empirical results indicate that the multi-step model is more conducive to efficient value-function estimation, and it yields better action selection compared to the one-step model. These results make a strong case for using multi-step models in the context of model-based reinforcement learning.

연구 동기 및 목표

• 모델 기반 강화학습에서 단일 단계 모델의 오차가 시간이 지남에 따라 누적되는 문제를 해결하기 위해.
• 가짜 또는 비현실적인 중간 상태 예측을 피함으로써 계획 중 가치 함수 추정과 행동 선택의 정확도를 향상시키기 위해.
• 단일 단계 전이를 조합하는 대신, 행동 시퀀스를 실행한 결과를 직접 예측하는 모델을 개발하기 위해.
• 배경 및 결정 시점 계획 모두에서 기존의 단일 단계 모델보다 우수한 성능을 실험적으로 입증하기 위해.
• Rademacher 복잡도를 사용하여 다단계 접근법의 더 높은 샘플 효율성과 일반화 능력에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 일련의 행동과 상태를 입력으로 받아 전체 행동 시퀀스 실행 후의 결과 상태를 직접 출력하는 다단계 모델 M³를 제안한다.
• 잠재 변수가 중간 단계를 나타내는 데이터셋에서 상태-행동-다음 상태 트리플릿을 기반으로 EM 알고리즘을 사용해 다단계 모델을 학습한다.
• 모든 단계에서 원본 초기 상태를 사용하는 새로운 롤아웃 절차를 적용하여, 가짜 입력에서 기인하는 오차 전파를 방지한다.
• 가우시안 분포를 사용해 전이 가능성 확률을 모델링하고, 최대 우도 추정을 통해 모델 파라미터를 학습한다.
• 다양한 다단계 경로를 기반으로 예측을 평균화하는 앙상블 확장 기법을 도입하여 정확도와 강인성을 향상시킨다.
• Rademacher 복잡도를 활용해 다단계 모델 학습의 난이도를 이론적으로 분석하고, 단일 단계 모델 학습보다 더 유리한 성질을 보여준다.

실험 결과

연구 질문

• RQ1 중간 단계에서 가짜 또는 비현실적인 상태 예측을 피함으로써 다단계 모델이 모델 기반 강화학습에서의 누적 오차 문제를 줄일 수 있는가?
• RQ2 계획 중 가치 함수 추정과 행동 선택에서 다단계 모델은 단일 단계 모델에 비해 성능가능한가?
• RQ3 Rademacher 복잡도로 측정했을 때, 일반화 능력과 샘플 효율성 측면에서 다단계 모델을 학습하는 데 이론적으로 어떤 이점이 있는가?
• RQ4 단일 다단계 모델에 비해 다단계 모델의 앙상블이 더 높은 예측 정확도와 강인성을 제공하는가?
• RQ5 제안된 M³ 프레임워크는 기존의 단일 단계 모델 기반 모델에 비해 배경 계획과 결정 시점 계획 모두에서 더 뛰어난 성능을 보이는가?

주요 결과

• 미니-팩맨 격자 환경에서 장기 예측에 있어서 다단계 모델 M³가 단일 단계 모델보다 예측 오차를 크게 감소시켰다.
• 행동 선택을 위한 트리 탐색에서, EM로 학습된 다단계 모델이 결정론적 모델과 단일 단계 모델을 모두 능가했으며, 목표에 도달하는 데 성공률이 높았다.
• 미니-팩맨 도메인에서 M³ 모델은 두 단계의 동역학을 거의 완벽하게 학습했으며, 예측된 상태 분포가 진짜 분포와 매우 유사했다.
• 액로브로트 도메인에서 다단계 경로를 여러 개 평균화한 앙상블은 8단계 예측 정확도를 향상시켜 단일 M³ 모델과 반복적 단일 단계 모델을 모두 뛰어넘었다.
• Rademacher 복잡도를 활용한 이론적 분석 결과, 다단계 모델을 학습하는 것은 단일 단계 모델을 학습하는 것보다 복잡도가 낮고 일반화 능력이 뛰어나다는 것이 입증되었다.
• 액로브로트 도메인에서 시간이 지남에 따라 경험한 상태의 다양성이 증가함에 따라 성능이 향상되었으며, 이는 안정적인 학습과 적응을 의미한다.