[논문 리뷰] Continuous-Time Model-Based Reinforcement Learning

Çağatay Yıldız, Markus Heinonen외 1명|arXiv (Cornell University)|2021. 02. 09.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 상태 동역학을 모델링하기 위해 베이지안 신경 미분방정식(Bayesian neural ODEs)을 사용하고, 연속 시간에서 최적의 정책을 직접 학습하기 위한 새로운 액터-크리틱 알고리즘을 제안하는 연속 시간 모델 기반 강화학습 프레임워크를 제시한다. 이 방법은 시간 이산화 오차를 피하고 확률적 ODE 추론을 통해 지식적 불확실성을 명시적으로 모델링함으로써 노이즈가 많고 비정규적인 데이터에서 뛰어난 성능을 발휘하며, 이로 인해 이산 시간 MBRL 방법보다 우수한 성능을 보인다.

ABSTRACT

Model-based reinforcement learning (MBRL) approaches rely on discrete-time state transition models whereas physical systems and the vast majority of control tasks operate in continuous-time. To avoid time-discretization approximation of the underlying process, we propose a continuous-time MBRL framework based on a novel actor-critic method. Our approach also infers the unknown state evolution differentials with Bayesian neural ordinary differential equations (ODE) to account for epistemic uncertainty. We implement and test our method on a new ODE-RL suite that explicitly solves continuous-time control systems. Our experiments illustrate that the model is robust against irregular and noisy data, is sample-efficient, and can solve control problems which pose challenges to discrete-time MBRL methods.

연구 동기 및 목표

• 이산 시간 MBRL 방법과 본질적으로 연속 시간인 물리 시스템 간의 근본적인 불일치를 해결하기 위해.
• 연속 시간 강화학습에서 흔히 발생하는 Q함수 소멸 문제를 피하면서도 이론적으로 일관된 연속 시간 액터-크리틱 알고리즘을 개발하기 위해.
• 노이즈가 많고 비정규적인 데이터에 대해 더 높은 견고성을 확보하기 위해 베이지안 신경 ODE를 활용해 연속 시간에서 불확실성 인식 동역학 모델링을 가능하게 하기 위해.
• 연속 시간 모델링이 이산 시간 근사치에 비해 더 정확하고 안정적인 제어 정책을 도출할 수 있음을 입증하기 위해.

제안 방법

• 상태 전이를 이산 단계가 아닌 연속 도함수로 모델링하기 위해 미분방정식(ODE) 기반의 연속 시간 강화학습 프레임워크를 제안한다.
• 지식적 불확실성을 포함한 미지의 상태 진화 동역학을 추론하기 위해 베이지안 신경 ODE(ENODE)를 사용하여 노이즈가 많고 흐릿한 관측치에 대한 견고성을 확보한다.
• 기존 정책 학습을 일반화하기 위해 연속 시간 가치 함수 위에서 직접 작동하는 새로운 연속 시간 액터-크리틱 알고리즘을 도입한다.
• 수치 정확도를 보장하기 위해 학습된 동역학의 정방향 시뮬레이션에 적응형 ODE 솔버(e.g., dopri5)를 활용한다.
• 제어 행동의 범위를 보장하기 위해 ReLU 활성화 함수를 사용하는 정책 네트워크와 TANH를 통한 출력 스케일링을 적용한다.
• 연속 시간 설정에서 ReLU와 비교해 안정성 문제가 발생하는 것을 방지하기 위해 부드러운 가치 함수 추정을 보장하기 위해 TANH 활성화 함수를 사용하는 크리틱 네트워크를 적용한다.

실험 결과

연구 질문

• RQ1 연속 시간 모델 기반 강화학습 프레임워크가 이산 시간 MBRL보다 샘플 효율성과 비정규적인 데이터에 대한 견고성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 모르는 동역학에서의 지식적 불확실성은 어떻게 효과적으로 모델링하고 연속 시간 제어에서 전파될 수 있는가?
• RQ3 이론적으로 일관된 연속 시간 강화학습을 위한 액터-크리틱 알고리즘을 설계할 수 있는가? 특히 Q함수 소멸 문제를 피할 수 있는가?
• RQ4 다양한 ODE 솔버가 연속 시간 정책 학습의 정확성과 안정성에 어떤 영향을 미치는가?
• RQ5 시간 이산화에 의존하지 않고 노이즈가 많거나 비정규적으로 샘플링된 데이터로부터 최적의 정책을 학습할 수 있는가?

주요 결과

• 제안된 연속 시간 MBRL 프레임워크는 CartPole 및 Acrobot 작업에서 이산 시간 MBRL보다 뛰어난 성능을 보였으며, 특히 노이즈가 많고 비정규적인 관측 조건에서 두각을 나타냈다.
• 베이지안 신경 ODE의 사용은 노이즈가 많고 흐릿한 데이터에 대한 견고성을 크게 향상시켰으며, 표준 이산 시간 모델 대비 예측 오차를 감소시켰다.
• 연속 시간 액터-크리틱 알고리즘이 Q함수 소멸 문제를 성공적으로 피하고 연속 시간에서 안정적인 정책 학습을 가능하게 하였다.
• dopri5 및 RK78와 같은 적응형 ODE 솔버는 높은 수치 정확도를 제공하는 반면, 이산 시간 근사치(e.g., 오일러)는 시간이 지남에 따라 상당한 오차 누적이 발생하였다.
• 이 방법은 뛰어난 샘플 효율성을 보였으며, 이산 시간 대비 환경 상호작용 횟수를 줄여 효과적인 정책을 학습하였다.
• 실증 결과에 따르면 연속 시간 프레임워크는 진짜 ODE 해와 매우 유사하게 수렴하는 반면, 이산 시간 궤적은 상당한 분리가 발생함을 확인하였으며, 그림 1에서 이를 시각화하였다.