[논문 리뷰] Delays in Reinforcement Learning

Pierre Liotet|arXiv (Cornell University)|2023. 09. 20.

Complex Systems and Decision MakingDecision Sciences인용 수 3

한 줄 요약

이 논문은 지연된 마르코프 결정 과정(MDP)를 사용하여 강화 학습에서의 지연을 형식적으로 모델링하고 분석하기 위한 프레임워크를 제안한다. 행동이 지연 Δ 후에 적용되는 연속시간 추상화를 도입하고, 상태-행동 역사가 확장된 MDP를 통해 지연된 MDP와 표준 MDP 간의 등가성을 수립한다. 주요 기여는 지연된 MDP에서의 최적 정책이 원래 MDP의 최적 정책과 대응됨을 증명하여, 표준 강화 학습 알고리즘을 이론적 보장과 함께 지연 환경에 적용할 수 있도록 한다.

ABSTRACT

Delays are inherent to most dynamical systems. Besides shifting the process in time, they can significantly affect their performance. For this reason, it is usually valuable to study the delay and account for it. Because they are dynamical systems, it is of no surprise that sequential decision-making problems such as Markov decision processes (MDP) can also be affected by delays. These processes are the foundational framework of reinforcement learning (RL), a paradigm whose goal is to create artificial agents capable of learning to maximise their utility by interacting with their environment. RL has achieved strong, sometimes astonishing, empirical results, but delays are seldom explicitly accounted for. The understanding of the impact of delay on the MDP is limited. In this dissertation, we propose to study the delay in the agent's observation of the state of the environment or in the execution of the agent's actions. We will repeatedly change our point of view on the problem to reveal some of its structure and peculiarities. A wide spectrum of delays will be considered, and potential solutions will be presented. This dissertation also aims to draw links between celebrated frameworks of the RL literature and the one of delays.

연구 동기 및 목표

• 행동 지연을 포함한 강화 학습에서의 지연 영향을 수학적으로 엄밀한 방식으로 형식화하기.
• 표준 RL 알고리즘이 행동 또는 관측 지연이 있는 환경에서 실패하는 문제를 다루기.
• 상태 증강을 통해 지연된 MDP와 표준 MDP 간의 이론적 등가성을 수립하기.
• 문제를 등가의 표준 MDP로 변환함으로써 표준 RL 알고리즘을 지연 환경에 적용할 수 있도록 하기.
• 원래 MDP와 변환된 MDP에서 정책의 성능 등가성에 대한 이론적 보장을 제공하기.

제안 방법

• 행동가 지연 Δ 후에 적용되는 연속시간 지연 MDP 모델을 도입하며, 지연을 고려한 상태 전이 커널을 사용한다.
• 과거 행동을 포함하는 증강된 상태 공간을 가진 변환된 MDP $\widetilde{\mathcal{M}}$를 정의한다.
• 성능 분석을 가능하게 하기 위해 상태-행동 점유 측도 $\mu^\pi_\gamma$를 사용하여 각 상태-행동 쌍에 대해 할애된 할인된 시간의 기대값을 표현한다.
• 현재 증강된 상태 $x = (s, a_1, \dots, a_{\lceil\Delta\rceil})$에서 다음 상태로의 전이 커널 $\widetilde{p}(x'|x,a)$를 구성하며, 지연을 일련의 결정론적 전이로 통합한다.
• 지연된 상태와 행동 조건 하에 원래 MDP의 평균 보상을 반영하는 지연된 보상 함수 $\widetilde{r}(x,a)$를 정의한다.
• 변환된 MDP $\widetilde{\mathcal{M}}$에서의 최적 정책이 원래 MDP $\mathcal{M}$의 최적 정책과 대응됨을 증명하여 이론적 등가성을 확보한다.

실험 결과

연구 질문

• RQ1 행동 실행 지연을 마르코프 결정 과정의 프레임워크 내에서 어떻게 형식적으로 모델링할 수 있는가?
• RQ2 최적 정책과 가치 함수 측면에서 지연된 MDP와 표준 MDP 간의 관계는 무엇인가?
• RQ3 지연된 MDP를 표준 MDP와 등가로 만들 수 있는가? 이 경우 표준 RL 알고리즘을 최적성 손실 없이 적용할 수 있는가?
• RQ4 지연된 MDP에서 정책의 성능이 원래 MDP에서와 동일하게 유지되기 위한 조건은 무엇인가?
• RQ5 지연은 MDP에서 상태-행동 점유 측도와 기대 수익에 어떤 영향을 미치는가?

주요 결과

• 변환된 MDP $\widetilde{\mathcal{M}}$에서의 최적 정책은 원래 MDP $\mathcal{M}$의 최적 정책과 동일하며, 이는 표준 RL 알고리즘을 지연 환경에 적용할 때 최적성에 손실이 없음을 보장한다.
• 원래 MDP에서의 상태-행동 점유 측도 $\mu^\pi_\gamma$는 변환된 MDP에서 복원 가능하며, 할인된 기대 수익을 유지한다.
• 변환된 MDP $\widetilde{\mathcal{M}}$는 원래 MDP와 동일한 기대 할인 수익 $J^\pi_\gamma$를 유지한다. 이는 항등식 $J^\pi_\gamma = \int_{\mathcal{S},\mathcal{A}} r(s,a) \, d\mu^\pi_\gamma(ds,da)$를 통해 입증된다.
• 모든 지연 $\Delta \in \mathbb{R}_{\geq 0}$에 대해, 지연 전이 분포 $b_\Delta(\cdot|s,a)$와 상태 $s$에서의 Dirac 델타 사이의 워샤프스키 거리는 $\Delta L_T$로 유계지며, 이는 작은 지연에 대해 안정성을 보장한다.
• 증강된 상태를 가진 등가 표준 MDP로 문제를 변환함으로써, 표준 RL 알고리즘을 행동 지연이 있는 환경에 적용할 수 있도록 한다.
• 원래 MDP와 변환된 MDP 간의 이론적 등가성은 $\Delta$가 정수이든 아니든 관계없이 성립하므로, 지연을 통합적으로 다룰 수 있다.