[논문 리뷰] Real-Time Reinforcement Learning

Simon Ramstedt, Christopher Pal|PolyPublie (École Polytechnique de Montréal)|2019. 09. 01.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 결정 과정 중 상태와 동작의 동시 진화를 모델링하는 새로운 프레임워크인 실시간 강화학습(RTRL)을 소개한다. 이는 고전적 마르코프 결정 프로세스(MDP)와 실시간 환경 간의 불일치를 해결하기 위한 것이다. 실시간 액터-크리틱(RTAC) 알고리즘을 제안하며, RTMDP 설정에서 상태-행동 쌍 기반 정책와 향상된 오프-폴리시 학습을 활용해 실시간 및 비실시간 환경 모두에서 소프트 액터-크리틱(SAC)을 능가한다.

ABSTRACT

Les processus de décision markovien (MDP), le cadre mathématiques sous-jacent à la plupart des algorithmes de l'apprentissage par renforcement (RL) est souvent utilisé d'une manière qui suppose, à tort, que l'état de l'environnement d'un agent ne change pas pendant la sélection des actions. Puisque les systèmes RL basés sur les MDP classiques commencent à être appliqués dans les situations critiques pour la sécurité du monde réel, ce décalage entre les hypothèses sous-jacentes aux MDP classiques et la réalité du calcul en temps réel peut entraîner des résultats indésirables. Dans cette thèse, nous introduirons un nouveau cadre dans lequel les états et les actions évoluent simultanément, nous montrerons comment il est lié à la formulation MDP classique. Nous analyserons des algorithmes existants selon la nouvelle formulation en temps réel et montrerons pourquoi ils sont inférieurs, lorsqu'ils sont utilisés en temps réel. Par la suite, nous utiliserons ces perspectives pour créer un nouveau algorithme Real-Time Actor Critic qui est supérieur au Soft Actor Critic contrôle continu de l'état de l'art actuel, aussi bien en temps réel qu'en temps non réel.

연구 동기 및 목표

• 고전적 MDP는 행동 선택 시 일시정지된다고 가정하지만, 실시간 환경에서는 결정 과정 중 상태가 지속적으로 진화하므로 이 두 요소 간의 근본적 불일치를 해결하기 위함.
• 동시적인 상태와 행동 진행을 반영하는 새로운 의사결정 프레임워크인 실시간 마르코프 결정 프로세스(RTMDP)를 체계화하기 위함.
• 기존 오프-폴리시 알고리즘인 SAC가 전이 동역학과 보상 전파 구조적 불일치로 인해 실시간 환경에서 최적화되지 않는 이유를 분석하기 위함.
• RTMDP 프레임워크에 원천적으로 최적화된 새로운 알고리즘인 실시간 액터-크리틱(RTAC)을 설계하고 평가하기 위함.
• RTMDP 설정의 구조를 활용해 오프-폴리시 학습의 효율성을 높임으로써 RTAC가 실시간 및 비실시간 환경 모두에서 뛰어난 성능을 달성할 수 있음을 보여주기 위함.

제안 방법

• 시스템 상태를 상태-행동 쌍(s_t, a_t)로 정의하고 시간 단위 간 동기적으로 전이가 일어나는 새로운 프레임워크인 실시간 마르코프 결정 프로세스(RTMDP)를 제안한다.
• 현재 상태-행동 구성 기반으로 미래 행동을 고려할 수 있도록 상태-행동 쌍에서 행동으로 매핑하는 새로운 정책 π̃을 도입한다.
• 행동 a_t가 a_t+1에 영향을 주고, 그로 인해 보상과 다음 상태에 영향을 주는 두 단계의 의존성 체인을 고려해 수정된 행동가치 함수 q_RTMDP^π̃(s_t, a_t, a_t+1)를 유도한다.
• 전이 s_t, a_t, s_t+1가 선택된 행동 a_t와 관계없이 항상 유효하므로, 상태가치 함수 v_RTMDP^π̃(s_t, a_t)가 오프-폴리시 학습에 직접 사용될 수 있음을 보여 오프-폴리시 학습을 적응시킨다.
• 소프트 액터-크리틱(SAC) 프레임워크를 기반으로 하되, RTMDP 설정에 맞게 재구성하여 더 높은 샘플 효율성과 학습 안정성을 확보한 실시간 액터-크리틱(RTAC) 알고리즘을 개발한다.
• 기존 동역학을 알고 있을 때 사용하는 부분 시뮬레이션 기법을 활용해 합성 경험을 생성함으로써 오프-폴리시 학습의 데이터 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 표준 오프-폴리시 RL 알고리즘인 SAC는 턴기반 설정에서는 성공했지만 실시간 환경에서는 성능이 열등한가?
• RQ2 고전적 MDP와 실시간 동역학 간의 구조적 불일치가 학습 과정과 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 동시적인 상태-행동 진화를 모델링하는 새로운 RL 프레임워크는 실시간 제어에서 더 효과적이고 안정적인 오프-폴리시 학습을 가능하게 하는가?
• RQ4 RTMDP 설정이 기존 알고리즘인 SAC에 비해 실시간 및 비실시간 환경 모두에서 성능 향상에 얼마나 기여하는가?
• RQ5 RTMDP 프레임워크의 구조를 최대로 활용하기 위해 액터-크리틱 아키텍처에 어떤 수정이 필요한가?

주요 결과

• RTAC는 실시간 및 비실시간 환경 모두에서 소프트 액터-크리틱(SAC)을 능가하며, 다양한 연속 제어 벤치마크에서 일관된 성능 향상을 보였다.
• RTMDP의 행동가치 함수는 보상 전파의 지연으로 인해 두 단계 업데이트가 필요하므로, 표준 오프-폴리시 알고리즘이 직접 적용될 경우 최적화되지 않는다.
• RTMDP의 상태가치 함수는 전체 동역학을 알 필요 없이도 오프-폴리시 학습에 사용될 수 있어 더 안정적이고 효율적인 학습이 가능하다.
• RTMDP 프레임워크는 전이의 부분 시뮬레이션을 가능하게 하여 합성 경험 생성이 가능하며, 이는 데이터 효율성 향상과 샘플 재사용을 가능하게 한다.
• 실험 결과, RTAC는 특히 행동 선택 시간이 제한된 실시간 환경에서 SAC보다 더 높은 누적 수익과 더 빠른 수렴을 달성함을 보였다.
• 제안된 RTAC 알고리즘은 알고리즘 자체의 수정을 넘어서 의사결정 프레임워크 자체를 재고함으로써 실시간 RL에서 뚜렷한 성능 향상을 이끌어내었다.