[논문 리뷰] Steady State Analysis of Episodic Reinforcement Learning

Huang Bojun|arXiv (Cornell University)|2020. 11. 12.

Reinforcement Learning in Robotics참고 문헌 35인용 수 5

한 줄 요약

이 논문은 유한 수명 태스크를 가진 에피소딕 강화 학습 환경에서 어떤 행동 정책이든 유일한 정적분포를 가지며, 이는 국소 상태 분포가 이 정적분포로 수렴함을 증명한다. 이는 정적분포 정책 기울기 정리와 순환적 변형 기법을 도입하여 수렴을 가속화하며, 연속적 강화 학습과 유사한 통합적이고 효율적인 데이터 수집을 가능하게 한다.

ABSTRACT

This paper proves that the episodic learning environment of every finite-horizon decision task has a unique steady state under any behavior policy, and that the marginal distribution of the agent's input indeed converges to the steady-state distribution in essentially all episodic learning processes. This observation supports an interestingly reversed mindset against conventional wisdom: While the existence of unique steady states was often presumed in continual learning but considered less relevant in episodic learning, it turns out their existence is guaranteed for the latter. Based on this insight, the paper unifies episodic and continual RL around several important concepts that have been separately treated in these two RL formalisms. Practically, the existence of unique and approachable steady state enables a general way to collect data in episodic RL tasks, which the paper applies to policy gradient algorithms as a demonstration, based on a new steady-state policy gradient theorem. Finally, the paper also proposes and experimentally validates a perturbation method that facilitates rapid steady-state convergence in real-world RL tasks.

연구 동기 및 목표

• 에피소딕 및 연속적 강화 학습 간 이론적 격차를 해소하기 위해 에피소딕 태스크에서 고유한 정적분포가 존재함을 입증하는 것.
• 정적분포 조건 하에서 성능 측정 및 온정책 분포와 같은 공통 개념이 엄밀히 연결되어 있음을 보여줌으로써 에피소딕 및 연속적 강화 학습 형식을 통합하는 것.
• 정적분포 수렴을 활용하여 에피소딕 강화 학습에서 효율적인 데이터 수집을 위한 실용적 방법을 개발하는 것.
• 정적분포로의 수렴을 가속화하기 위한 순환적 변형 기법을 제안하여 주기적 또는 느린 혼합 환경에서의 수렴을 향상시키는 것.
• 온라인, 소수 단계 샘플링을 정당화하는 이론적 기반을 제공하기 위해 새로운 정적분포 정책 기울기 정리를 유도하고 검증하는 것.

제안 방법

• 반복되는 에피소드를 모델링하기 위해 주기적 리셋 구조를 가진 무한 수명 MDP의 가족으로 에피소딕 학습을 공식화한다.
• 마르코프 체인의 에르고딕성 논증을 사용하여, 어떤 행동 정책이든 모든 이러한 에피소딕 MDP에서 고유한 정적분포가 존재함을 증명한다.
• 행동 정책의 정적분포에 대한 기대값으로 표현된 새로운 정적분포 정책 기울기 정리를 도출한다.
• 혼합 속도를 향상시키고 정적분포로의 수렴을 보장하기 위해 확률 $\epsilon = 1 - 1/\mathbb{E}[T]$ 로 자기 순환을 삽입하는 순환적 변형 기법을 도입한다.
• 초기 롤아웃 단계에서의 국소 분포를 이용해 정적분포를 근사하기 위해 순환적 변형을 통한 비편향 추정을 활용한다.
• Hopper, Humanoid, HalfCheetah 등의 환경에서 실험적으로 검증하여, 변형 유무에 따른 수렴 속도를 비교한다.

실험 결과

연구 질문

• RQ1 유한 수명 태스크를 가진 에피소딕 강화 학습 태스크에서 유일한 정적분포가 존재하는가?
• RQ2 일반적인 행동 정책 하에서 에피소딕 강화 학습의 상태 방문 국소 분포가 정적분포로 수렴하는가?
• RQ3 정적분포는 어떻게 에피소딕 및 연속적 강화 학습 형식을 통합하는 데 활용될 수 있는가?
• RQ4 특히 주기적 또는 느린 혼합 환경에서, 변형 기반 방법이 정적분포로의 수렴을 가속화할 수 있는가?
• RQ5 제안된 정적분포 정책 기울기 정리는 현대 정책 기울기 알고리즘에서 온라인, 소수 단계 샘플링을 이론적으로 타당하게 하는가?

주요 결과

• 모든 에피소딕 강화 학습 태스크에서 어떤 행동 정책이든 고유한 정적분포가 존재함을 입증하여 오랫동안 지속된 이론적 모호성을 해소하였다.
• 에피소딕 태스크의 '적절한 모델'에서 상태 방문의 국소 분포는 정적분포로 수렴하며, Hopper에서는 $2 \cdot \text{AEL}$, 합성 주기적 환경에서는 $3 \cdot \text{AEL}$ 에서 수렴이 관찰되었다.
• 고정된 에피소드 길이를 가진 HalfCheetah와 같은 환경에서는 변형 없이선 국소 분포가 수렴하지 않지만, $\epsilon = 1 - 1/\mathbb{E}[T]$ 로 순환적 변형을 적용하면 빠르게 수렴한다.
• 순환적 변형 기법을 통해 강력한 주기적 환경에서도 정적분포를 $3 \cdot \mathbb{E}[T]$ 단계 내로 정확하게 근사할 수 있었다.
• 실험 결과, 표준 온라인 샘플링 대비 변형된 롤아웃 방법이 정책 기울기 추정의 편향을 줄이며, Humanoid 및 HalfCheetah에서 수렴 성능이 향상됨을 보였다.
• 정적분포 정책 기울기 정리는 현대 정책 기울기 알고리즘에서 온라인 샘플링을 이론적으로 타당하게 하며, 실무에서 널리 사용되는 이유를 설명한다.