[논문 리뷰] Investigating Compounding Prediction Errors in Learned Dynamics Models

Nathan Lambert, Kristofer S. J. Pister외 1명|arXiv (Cornell University)|2022. 03. 17.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 모델기반강화학습(MBRL)에서 사용되는 학습된 동역학 모델에서 예측 오차가 누적되는 원인을 조사한다. 시뮬레이션 및 실제 시스템에서 체계적인 실험을 통해, 장기 예측 오차에 가장 큰 영향을 미치는 요소는 시스템의 기본 동역학이며, 모델 아키텍처와 학습 세부 사항은 보조적인 역할을 한다고 밝혀냈다. 주요 기여는 불안정한 동역학이 오차 증가를 지배한다는 데이터 기반 분석으로, 로봇 공학 및 제어 분야에서 더 견고한 예측 모델을 설계하는 데 실질적인 통찰을 제공한다.

ABSTRACT

Accurately predicting the consequences of agents' actions is a key prerequisite for planning in robotic control. Model-based reinforcement learning (MBRL) is one paradigm which relies on the iterative learning and prediction of state-action transitions to solve a task. Deep MBRL has become a popular candidate, using a neural network to learn a dynamics model that predicts with each pass from high-dimensional states to actions. These "one-step" predictions are known to become inaccurate over longer horizons of composed prediction - called the compounding error problem. Given the prevalence of the compounding error problem in MBRL and related fields of data-driven control, we set out to understand the properties of and conditions causing these long-horizon errors. In this paper, we explore the effects of subcomponents of a control problem on long term prediction error: including choosing a system, collecting data, and training a model. These detailed quantitative studies on simulated and real-world data show that the underlying dynamics of a system are the strongest factor determining the shape and magnitude of prediction error. Given a clearer understanding of compounding prediction error, researchers can implement new types of models beyond "one-step" that are more useful for control.

연구 동기 및 목표

• 모델기반강화학습(MBRL)에서 사용되는 일단계 학습된 동역학 모델에서 예측 오차가 누적되는 근본 원인을 이해하는 것.
• 시스템 동역학, 데이터 분포, 모델 학습이 장기 예측 정확도에 미치는 영향을 분리하고 정량화하는 것.
• 오차 증가에 가장 큰 영향을 미치는 시스템 및 모델링 요소를 특정함으로써, 더 나은 예측 모델 설계를 위한 실질적인 통찰을 제공하는 것.
• 오차의 주요 원인이 모델 아키텍처나 학습 초모수라는 가정을 도전하며, 오히려 시스템의 동역학이 주요 요인임을 강조하는 것.

제안 방법

• 다양한 동역학, 노이즈 수준, 차원 수를 가진 여러 시뮬레이션 및 실제 로봇 시스템에서 통제된 실험을 수행하였다.
• 일관된 조건에서 데이터를 수집하고 평가하여, 시스템 동역학이 데이터 분포 및 모델 학습과는 별개로 미치는 영향을 분리하였다.
• 표준 딥러닝 파이프라인을 사용해 결정론적 및 확률론적 신경망을 포함한 다양한 일단계 동역학 모델을 학습시켰다.
• 예측 수평(h)을 점차 늘리며 예측 오차를 측정하여 오차 누적 행동을 분석하였다.
• 확률론적 모델의 경우 기대값 기반 궤도 전파를 사용해 불확실성 하에서의 오차 증가를 평가하였다.
• 다양한 시스템에서 오차 패턴을 분석하여 오차가 선형으로 증가하는지, 가속되는지, 또는 정체되는지를 확인하였다.

실험 결과

연구 질문

• RQ1 시스템 동역학, 데이터 분포, 모델 학습 중 어느 요소가 학습된 동역학 모델에서 예측 오차 누적에 가장 크게 기여하는가?
• RQ2 다양한 유형의 시스템에서 장기 예측 수평 동안 오차의 형태와 크기는 어떻게 변화하는가?
• RQ3 시스템 노이즈나 차원 수의 변화가 장기 예측 정확도에 어느 정도 영향을 미치는가?
• RQ4 장기 예측에서 오차 증가가 결국 정체되는가? 만약 그렇다면 어떤 조건에서 그러한 정체가 발생하는가?
• RQ5 간단한 모델(예: 선형 모델 또는 결정론적 네트워크)이 특정 시스템 영역에서는 더 복잡한 모델보다 성능이 뛰어날 수 있는가?

주요 결과

• 시스템의 기본 동역학이 장기 예측 오차에 가장 큰 영향을 미치며, 불안정한 동역학은 빠른 오차 누적을 유도한다.
• 동일한 데이터와 모델 아키텍처를 사용하더라도, 본질적으로 불안정한 동역학을 가진 시스템은 안정한 시스템보다 현저히 높은 오차 증가를 보인다.
• 예측 오차는 일반적으로 초기 예측 수평 h 이후에 정체되는 경향이 있어, 이 시점 이후 오차 증가 속도가 느려지지만, 이미 제어에는 신뢰할 수 없게 된다.
• 중간 수준의 노이즈를 제로로 줄일 경우 정확도 향상에 점점 더 낮은 기여를 하므로, 노이즈는 오차의 주요 원인이 아님을 시사한다.
• 선형 모델이나 결정론적 신경망과 같은 단순한 모델은 저차원 시스템에서 강력한 베이스라인으로 기능한다.
• 모델 선택과 학습 초모수는 시스템의 동역학적 본질적 특성에 비해 보조적인 영향을 미친다.