[논문 리뷰] DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in Continuous Control

V. M. Martinez Alvarez, Rares Rosca외 1명|arXiv (Cornell University)|2020. 09. 09.

Reinforcement Learning in Robotics참고 문헌 20인용 수 9

한 줄 요약

DyNODE는 강화학습에서 연속 시간 역학을 모델링하기 위해 제어 입력을 통합한 신경 미분방정식(NODE) 프레임워크를 소개한다. 기존의 신경망에 비해 샘플 효율성과 예측 정확도를 크게 향상시킨다. 상태 가치 오차를 역전파하고 연속 역학을 활용함으로써 DyNODE는 오차 누적을 줄이고, SAC와 결합했을 때 6개의 연속 제어 과제 중 5개에서 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

We present a novel approach (DyNODE) that captures the underlying dynamics of a system by incorporating control in a neural ordinary differential equation framework. We conduct a systematic evaluation and comparison of our method and standard neural network architectures for dynamics modeling. Our results indicate that a simple DyNODE architecture when combined with an actor-critic reinforcement learning (RL) algorithm that uses model predictions to improve the critic's target values, outperforms canonical neural networks, both in sample efficiency and predictive performance across a diverse range of continuous tasks that are frequently used to benchmark RL algorithms. This approach provides a new avenue for the development of models that are more suited to learn the evolution of dynamical systems, particularly useful in the context of model-based reinforcement learning. To assist related work, we have made code available at https://github.com/vmartinezalvarez/DyNODE .

연구 동기 및 목표

• 샘플이 부족한 연속 제어 환경에서 정확하고 일반화 가능한 역학 모델을 학습하는 데 도전한다.
• 연속 시간 ODE를 통해 역학을 모델링하여 장기 예측에서 오차 누적을 줄인다.
• 미분방정식으로 제어되는 시스템의 물리적 구조를 활용함으로써 모델 기반 강화학습의 샘플 효율성을 향상시킨다.
• 제어를 NODE에 통합함으로써 표준 전방향 신경망보다 더 나은 일반화와 성능을 달성할 수 있음을 입증한다.
• 효과적인 계획 및 가치 함수 개선을 지원하는 더 견고하고 안정적인 역학 모델을 제공한다.

제안 방법

• DyNODE는 ODE에 시간에 따라 변하는 제어 입력을 통합함으로써 신경 ODE 프레임워크를 확장하여 연속 역학의 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 수치적 적분(예: 룬게쿠타 4차 수준)을 사용하여 상태를 연속 시간에 따라 전진시키며, ODE 해법기의 역전파를 통해 기울기를 전파한다.
• 상태 가치 오차는 시간에 따라 뒤로 전파되어 학습 안정성과 예측 정확도를 향상시킨다.
• 모델 예측 궤적을 사용하여 가치 함수 추정을 향상시키기 위해 TD(k) 기법을 활용하는 모델 자유형 강화학습 알고리즘(SAC)과 결합된다.
• 단일 랜덤 롤아웃(1000개 데이터 포인트)을 사용하여 모델을 학습함으로써, 미리 보지 않은 궤적에 대한 일반화 성능 평가가 가능해진다.
• 프레임워크는 DeepMind Control Suite 환경에서 평가되었으며, 표준 신경망과 MVE-SAC와의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 제어 입력을 신경 ODE 프레임워크에 통합하면 연속 제어 과제에서 역학 모델링 성능이 향상되는가?
• RQ2 DyNODE는 표준 신경망에 비해 장기 예측 궤적에서 오차 누적을 줄이는가?
• RQ3 SAC와 같은 모델 자유형 강화학습 알고리즘과 결합했을 때 DyNODE는 샘플 효율성과 점차적 성능을 향상시키는가?
• RQ4 제한된 데이터로 학습된 DyNODE가 미리 보지 않은 궤적에 얼마나 잘 일반화되는가?
• RQ5 DyNODE의 연속 시간 모델링 접근 방식은 이산 시간 신경망에 비해 더 나은 예측 성능을 제공하는가?

주요 결과

• DyNODE는 DeepMind Control Suite의 6개 환경 중 5개에서 표준 신경망 베이스라인에 비해 예측 성능과 샘플 효율성에서 뛰어난 성능을 보였다.
• 100만 개 환경 스텝에서 DyNODE-SAC는 SAC와 MVE-SAC 모두를 능가하는 점차적 성능을 달성했으며, 안정성과 데이터 효율성에서 향상된 성능을 보였다.
• MountainCar 환경에서 DyNODE는 단일 1000포인트 롤아웃만으로 최적 궤적을 성공적으로 재구성하여, 미리 보지 않은 데이터에 대한 강력한 일반화 능력을 입증했다.
• 상태공간 시각화 결과, DyNODE는 신경망 베이스라인보다 운동량과 위치 변화의 나선형 궤적을 더 정확하게 포착했다.
• 간단한 명시적 적분 방법을 사용함에도 불구하고, DyNODE는 외삽 오차를 줄이고 더 긴 궤적 길이에서 오차 누적을 완화했다.
• 모델 예측 궤적을 통해 가치 함수 개선이 더 효과적으로 이루어지며, 가치 추정에서 TD(k) 기법을 사용했을 때의 뛰어난 성능으로 이를 입증했다.