[논문 리뷰] Acting in Delayed Environments with Non-Stationary Markov Policies

Esther Derman, Gal Dalal외 1명|arXiv (Cornell University)|2021. 01. 28.

Reinforcement Learning in Robotics참고 문헌 31인용 수 4

한 줄 요약

이 논문은 지연된 동작 실행이 발생하는 환경에서 강화학습을 위한 비정상적인 마르코프 정책 프레임워크를 제안하며, 원래 상태 공간 내에서 결정론적 비정상 정책이 최적이고 충분함을 증명한다. 상태 증강을 피하는 모델 기반 Q-학습 알고리즘인 Delayed-Q를 제안하여, 표본화된 환경, 물리적 환경, 그리고 아케이드 게임 환경에서 고지연(m=25) 조건에서도 빠른 수렴과 뛰어난 성능을 달성한다.

ABSTRACT

The standard Markov Decision Process (MDP) formulation hinges on the assumption that an action is executed immediately after it was chosen. However, assuming it is often unrealistic and can lead to catastrophic failures in applications such as robotic manipulation, cloud computing, and finance. We introduce a framework for learning and planning in MDPs where the decision-maker commits actions that are executed with a delay of $m$ steps. The brute-force state augmentation baseline where the state is concatenated to the last $m$ committed actions suffers from an exponential complexity in $m$, as we show for policy iteration. We then prove that with execution delay, deterministic Markov policies in the original state-space are sufficient for attaining maximal reward, but need to be non-stationary. As for stationary Markov policies, we show they are sub-optimal in general. Consequently, we devise a non-stationary Q-learning style model-based algorithm that solves delayed execution tasks without resorting to state-augmentation. Experiments on tabular, physical, and Atari domains reveal that it converges quickly to high performance even for substantial delays, while standard approaches that either ignore the delay or rely on state-augmentation struggle or fail due to divergence. The code is available at github.com/galdl/rl_delay_basic and github.com/galdl/rl_delay_atari.

연구 동기 및 목표

• 로봇 공학, 금융, 클라우드 컴퓨팅 등에서 흔히 발생하는 지연된 동작 실행에 대한 이론적이고 실용적인 프레임워크 부족 문제를 해결하기 위해.
• 실행 지연을 다루기 위해 상태 증강이 필수적이라는 가정을 도전하며, 이는 지연 길이 m에 따라 지수적 복잡도를 가지는 문제를 야기한다.
• 지연된 실행 조건 하에서 원래 상태 공간 내에서 결정론적 비정상 마르코프 정책이 최적이고 충분함을 증명하기 위해.
• 실용적이고 모델 기반의 알고리즘을 개발하여 상태 증강을 피하고 연속적·고차원 환경(예: 아케이드 게임)으로도 확장 가능하게 하기 위해.

제안 방법

• 행동 선택 후 m단계 후에 실행되는 지연된 MDP 설정을 도입하여, 이로 인해 발생하는 비마르코프 과정을 모델링한다.
• 원래 상태 공간 내에서 결정론적 비정상 정책이 최적 성능을 달성하는 데 충분하며, 정상 정책은 부분적으로 최적임을 증명한다.
• 상태 증강 없이 원래 상태 공간에서 직접 비정상 Q-값을 학습하는 모델 기반 Q-학습 알고리즘인 Delayed-Q를 제안한다.
• 지연된 관측에서 현재 상태를 가장 가능성이 높은 것으로 추정하는 계획 기반 접근을 사용하여 효율적인 가치 갱신을 가능하게 한다.
• 보상과 전이를 m단계 수평선을 따라 전파함으로써 지연된 실행을 고려한 밸류 이터레이션 스타일 갱신을 구현한다.
• 표본화된 MDP, 연속 제어 환경(예: CartPole), 아케이드 게임 스위트 등에 알고리즘을 적용하여 확장성과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 지연된 동작 실행이 있는 MDP에서 원래 상태 공간 내 결정론적 비정상 마르코프 정책이 최적 성능을 달성할 수 있는가?
• RQ2 실행 지연을 다루기 위해 상태 증강이 필수적인가, 아니면 최적 정책을 원래 상태 공간에서 직접 학습시킬 수 있는가?
• RQ3 지수적 복잡도를 가지는 상태 증강을 피하면서도 고지연 조건에서도 성능을 유지할 수 있는 모델 기반 Q-학습 알고리즘을 설계할 수 있는가?
• RQ4 다양한 환경에서 제안된 방법이 상태 증강, 무관한 방법, RNN 기반 정책과 비교해 수렴성과 최종 성능 측면에서 어떻게 성과를 내는가?

주요 결과

• Delayed-Q는 표본화된 환경, 물리적 환경, 아케이드 게임 환경에서 총 42개 실험 중 39개에서 상태 증강 및 무관한 Q-학습 방법보다 뛰어난 성능을 보였다.
• 아케이드 게임 'Enduro'에서 m=25일 때 Delayed-Q는 33±2점을 기록했고, Augmented-Q는 29±4점, Oblivious-Q는 0.5±0.2점에 머물렀다.
• 'MsPacman'에서 m=5일 때 Delayed-Q는 1354±86점을 기록했으며, Augmented-Q(1083±60)와 Oblivious-Q(1319±35)를 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 'Zaxxon'에서 m=25일 때 Delayed-Q는 1418±148점을 기록했고, Oblivious-Q(605±66)와 Augmented-Q(431±77)에 비해 훨씬 높은 점수를 기록했다.
• 지연을 인지하지 못하는 RNN 기반 정책는 무관한 기반선보다 성능 향상을 이룰 수 없었으며, 이는 지연 인지의 중요성을 확인한다.
• Delayed-Q는 m=25일 때에도 빠르고 안정적으로 수렴하는 반면, 상태 증강 방법은 상태공간의 지수적 증가로 인해 발산하거나 실패함을 확인했다.