[논문 리뷰] Delay-Aware Model-Based Reinforcement Learning for Continuous Control

Baiming Chen, Mengdi Xu외 2명|arXiv (Cornell University)|2020. 05. 11.

Reinforcement Learning in Robotics참고 문헌 36인용 수 8

한 줄 요약

이 논문은 행동 지연을 시스템 동역학의 일부로 명시적으로 모델링하는 지연 인지 모델기반 강화학습 프레임워크를 제안한다. 이는 효율적이고 이식 가능한 학습을 가능하게 한다. 동역학을 알려진 지연 성분과 알려지지 않은 시스템 동역학으로 분해함으로써, 즉각적인 환경에서는 표준 모델프리 강화학습과 유사한 성능를 달성하면서도 다양한 지연 지속 시간 동안 안정성과 이식 가능성을 유지한다.

ABSTRACT

Action delays degrade the performance of reinforcement learning in many real-world systems. This paper proposes a formal definition of delay-aware Markov Decision Process and proves it can be transformed into standard MDP with augmented states using the Markov reward process. We develop a delay-aware model-based reinforcement learning framework that can incorporate the multi-step delay into the learned system models without learning effort. Experiments with the Gym and MuJoCo platforms show that the proposed delay-aware model-based algorithm is more efficient in training and transferable between systems with various durations of delay compared with off-policy model-free reinforcement learning methods. Codes available at: https://github.com/baimingc/dambrl.

연구 동기 및 목표

• 실세계 강화학습 시스템에서 행동 지연으로 인한 성능 저하와 불안정성을 해결하기 위해.
• 행동 지연이 존재함에도 불구하고 마르코프 성질을 유지하는 지연 인지 마르코프 결정과정(DA-MDP)을 공식적으로 정의하기 위해.
• 다단계 지연을 학습된 동역학에 통합하면서 추가 학습 노력 없이도 지연을 포함하는 모델기반 강화학습 프레임워크를 개발하기 위해.
• 다른 지연 지속 시간 간에 학습된 동역학의 이식 가능성을 보장하여 시뮬레이션에서 실제 환경으로의 구현을 촉진하기 위해.
• 모델프리 오프폴리시 방법 대비 지연이 있는 연속 제어 과제에서 샘플 효율성과 계획 성능을 향상시키기 위해.

제안 방법

• 행동 지연 이력을 포함하도록 상태 공간을 확장하여 지연 인지 마르코프 결정과정(DA-MDP)을 공식 정의함으로써 마르코프 성질이 유지되도록 보장한다.
• DA-MDP를 증강된 상태를 가진 표준 MDP로 변환하는 것을 이론적으로 정당화하기 위해 지연 인지 마르코프 보상 과정(DA-MRP)을 도입한다.
• 시스템 동역학을 두 부분으로 분해한다: 행동 지연으로 인한 알려진 성분과 원래 시스템 동역학으로 인한 알려지지 않은 성분.
• PETS(경로 샘플링을 통한 확률적 앙상블)에 지연 효과를 명시적으로 모델링한 동역학 모델을 통합하여 지연 인지 경로 샘플링(DATS) 알고리즘을 개발한다.
• 알려진 지연 성분을 활용해 미래 상태 전이를 사전 계산함으로써 추가 학습 데이터가 필요한 양을 줄이고 계획 효율성을 향상시킨다.
• 지연이 없는 시뮬레이터에서 동역학 모델을 훈련하지만, 계획 단계에서 지연 효과를 통합함으로써 지연이 알려진 실제 시스템으로의 이식을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다단계 행동 지연이 존재하는 시스템에서 지연 인지 MDP 설정이 마르코프 성질을 유지할 수 있는가?
• RQ2 알려진 행동 지연을 추가 학습 없이 학습된 동역학에 효율적으로 통합할 수 있는가?
• RQ3 다양한 지연 지속 시간을 가진 환경에 적용했을 때 제안된 프레임워크가 높은 성능와 샘플 효율성을 유지하는가?
• RQ4 한 지연 환경에서 학습된 지식(동역학 모델)이 다른 지연 지속 시간을 가진 환경으로 얼마나 이식 가능한가?
• RQ5 제안된 지연 인지 모델기반 방법이 RTAC과 같은 오프폴리시 모델프리 방법에 비해 지연 조건 하에서 성능와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• DATS는 지연이 없는 환경에서도 표준 모델프리 강화학습과 유사한 성능를 보였으며, 1단계 지연 조건에서 Pendulum-v0의 평균 수익은 154.10 ± 14.86, Walker2d-v1은 471.34 ± 426.26를 기록했다.
• 훈련 시 사용한 지연 지속 시간의 두 배(예: 8단계 지연 훈련 후 16단계 지연 환경 테스트)의 환경에서도 DATS는 뛰어난 성능를 유지하여 높은 이식 가능성을 입증했다.
• 모델프리 기반선인 RTAC는 지연이 증가함에 따라 성능가 심각하게 저하되었으며, 16단계 지연 조건에서 Pendulum-v0의 수익은 -122.98 ± 64.82, Walker2d-v1은 -2173.87 ± 625.76로 떨어졌다.
• DATS에서 학습된 동역학 모델은 훈련 환경보다 두 배 더 긴 지연 지속 시간을 가진 배포 환경에서도 효과적으로 유지되었으며, 강력한 이식 가능성을 입증했다.
• 고지연 환경에서 DATS는 RTAC보다 더 적은 전이 수를 통해 안정된 성능를 달성했으며, 이는 뛰어난 샘플 효율성을 의미한다.
• 지연이 없는 시뮬레이터에서 훈련하고 계획 단계에서 알려진 지연 효과를 통합함으로써, 이 프레임워크는 시뮬레이션에서 실제 환경으로의 이식을 가능하게 하여 실제 적용 비용을 감소시킨다.