[논문 리뷰] An Analysis of Categorical Distributional Reinforcement Learning

Mark Rowland, Marc G. Bellemare외 3명|arXiv (Cornell University)|2018. 02. 22.

Reinforcement Learning in Robotics참고 문헌 17인용 수 40

한 줄 요약

본 논문은 범주형 분포형 강화학습(CDRL)에 대한 이론적 프레임워크를 제시하고, Cramér 거리 기반의 투영 단계에 근거한 샘플 기반 CDRL 방법의 수렴을 보장하며, 이산화(discretization)로 인한 근사 오차를 정량화한다.

ABSTRACT

Distributional approaches to value-based reinforcement learning model the entire distribution of returns, rather than just their expected values, and have recently been shown to yield state-of-the-art empirical performance. This was demonstrated by the recently proposed C51 algorithm, based on categorical distributional reinforcement learning (CDRL) [Bellemare et al., 2017]. However, the theoretical properties of CDRL algorithms are not yet well understood. In this paper, we introduce a framework to analyse CDRL algorithms, establish the importance of the projected distributional Bellman operator in distributional RL, draw fundamental connections between CDRL and the Cramér distance, and give a proof of convergence for sample-based categorical distributional reinforcement learning algorithms.

연구 동기 및 목표

• 기대값이 아닌 분포로서의 보상을 다루는 분포형 RL 연구를 동기 부여하고 형식화한다.
• 범주형 분포형 RL(CDRL)에 대한 통합 프레임워크를 제시하고 주요 근사를 식별한다.
• 학습 다이나믹스와 수렴에 대한 이산화와 투영의 영향을 분석한다.
• 정책 평가와 제어 양쪽에서 샘플 기반 CDRL 알고리즘의 수렴 결과를 확립한다.

제안 방법

• 리턴 분포와 분포형 벨만 연산자를 정의한다.
• 고정된 지지에 대해 범주형 분포의 파라메트릭 패밀리를 도입한다.
• 벨만 백업 후 파라메트릭 패밀리로 다시 매핑하기 위해 Pi_C 투영 연산자를 사용한다.
• 학습을 위해 그래디언트(KL) 업데이트 또는 혼합 업데이트를 포함한 확률 근사 스킴을 사용한다.
• Cramér 거리(ell_2)에서 투영 연산자의 수축성을 증명하고 수렴 결과를 도출한다.
• 유한 격자 오차 범위를 제공하고 이산화 정밀도에 대한 함의를 논의한다.

실험 결과

연구 질문

• RQ1 Cramér 거리 투영을 갖는 투영된 분포형 벨만 연산자가 여전히 수축적이며 수렴을 보장하는가?
• RQ2 이산화(범주형 지지)가 실제 리턴 분포와 최적 정책에 대한 근사에 어떻게 영향을 미치는가?
• RQ3 확률적 업데이트를 갖는 샘플 기반 CDRL이 정책 평가와 제어(Q-learning)에서 의미 있는 한계로 수렴할 수 있는가?
• RQ4 투영과 함께 분포형 업데이트를 사용할 때 학습 과정이 최적성을 보존하도록 하는 요인은 무엇인가?
• RQ5 CDRL 알고리즘의 수렴성과 안정성에서 투영의 역할은 무엇인가?

주요 결과

• 합성 연산자 Pi_C T^π는 Cramér 거리하에서 sqrt(γ)-수축이며, 고유한 고정점 η_C을 산출한다.
• 극한 분포 η_C는 true η_π를 그리드 간격과 1/(1−γ)에 비례하는 오차 한계로 근사한다.
• Robbins–Monro 단계 크기를 갖는 확률적 혼합 업데이트는 정책 평가에서 거의 확실하게 η_C에 수렴한다.
• 특정 조건하에, 해당 범주형 Q-러닝은 η_C^*의 극한으로 수렴하며, 그 탐욕적 정책은 최적 정책 π^*이다.
• Cramér 투영은 Hilbert 유사 공간에서 직교 투영으로 작용하여 수축성 및 수렴 분석을 가능하게 하는 중요한 역할을 한다.
• 이 프레임워크는 이산화와 투영이 서로 작용하여 실용적이고 수렴이 보장되는 CDRL 알고리즘을 어떻게 만들어내는지 보여준다.