[논문 리뷰] A Comparative Analysis of Expected and Distributional Reinforcement Learning

Clare Lyle, Pablo Samuel Castro외 1명|arXiv (Cornell University)|2019. 01. 30.

Reinforcement Learning in Robotics참고 문헌 13인용 수 21

한 줄 요약

이 논문은 표본, 선형, 비선형 함수 근사 설정에서 기대값 기반과 분포 기반 강화학습을 비교한다. 비선형 함수 근사에서 분포 기반 방법이 기대값 기반 방법과 다름을 보이며, 이는 최적화와 정규화가 향상되어 기대값 기반 방법을 능가하기 때문이다. 특히 C51의 소프트맥스와 딥 네트워크의 특징 학습이 중요한 역할을 한다.

ABSTRACT

Since their introduction a year ago, distributional approaches to reinforcement learning (distributional RL) have produced strong results relative to the standard approach which models expected values (expected RL). However, aside from convergence guarantees, there have been few theoretical results investigating the reasons behind the improvements distributional RL provides. In this paper we begin the investigation into this fundamental question by analyzing the differences in the tabular, linear approximation, and non-linear approximation settings. We prove that in many realizations of the tabular and linear approximation settings, distributional RL behaves exactly the same as expected RL. In cases where the two methods behave differently, distributional RL can in fact hurt performance when it does not induce identical behaviour. We then continue with an empirical analysis comparing distributional and expected RL methods in control settings with non-linear approximators to tease apart where the improvements from distributional RL methods are coming from.

연구 동기 및 목표

• 분포 기반 강화학습(DRL)이 이론적 근거가 제한된 상태에서 딥 강화학습에서 기대값 기반 강화학습(ERL)을 능가하는 이유를 조사하기 위해.
• 표본 및 선형 함수 근사 설정에서 분포 기반 방법과 기대값 기반 방법이 서로 다르게 행동하는지 확인하기 위해.
• 다양한 함수 근사 설정 간 성능 비교를 통해 DRL의 경험적 성공 원인을 분리하기 위해.
• C51의 소프트맥스나 분포 기반 투영과 같은 특정 구성 요소가 성능 향상에 미치는 영향을 평가하기 위해.

제안 방법

• 표본 및 선형 함수 근사 설정에서 DRL과 ERL의 행동을 비교하기 위한 이론적 분석.
• CartPole 및 Acrobot 환경에서 사례 기반 SARSA와 DQN 변종(DQN, C51, S51-lite)을 사용한 실증 평가. Fourier 기반 특징을 활용.
• 증가하는 Fourier 기반 순서를 사용한 선형 함수 근사로 특징 표현력 영향 평가.
• Fourier 특징을 두 층의 ReLU 신경망으로 대체하여 비선형 함수 근사 연구.
• CDF 및 PMF 투영을 사용한 S51-lite의 구현을 통해 분포 기반 업데이트 메커니즘 비교.
• Adam 옵timizer와 하이퍼파라미터 튜닝을 통해 알고리즘 간 공정한 비교 확보.

실험 결과

연구 질문

• RQ1 표본 및 선형 함수 근사 설정에서 분포 기반 강화학습과 기대값 기반 강화학습이 동일하게 행동하는가?
• RQ2 언제 분포 기반 RL이 기대값 기반 RL과 다름을 보이며, 이러한 차이가 성능 향상에 기여하는가?
• RQ3 비선형 함수 근사가 분포 기반 RL의 성능 향상에 어떤 역할을 하는가?
• RQ4 C51의 소프트맥스나 분포 기반 투영과 같은 특정 구성 요소가 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 분포 기반 시각은 주로 정규화, 보조 지도 학습, 또는 딥 네트워크 내 최적화 향상 덕분에 유익한가?

주요 결과

• 표본 및 선형 함수 근사 설정에서, 분포 기반 업데이트가 기대값을 유지할 경우 분포 기반 RL은 기대값 기반 RL과 동일하게 행동하며, 이러한 설정에서는 특별한 이점이 없다는 것을 시사한다.
• 분포 기반 업데이트가 기대값을 유지하지 못할 경우—예를 들어 PMF를 사용한 S51-lite와 같이—성능이 악화될 수 있으며, 이는 분포 모델링이 항상 학습을 향상시키지 못한다는 것을 보여준다.
• 딥 네트워크를 사용한 비선형 함수 근사에서 C51은 CartPole 및 Acrobot 모두에서 DQN을 능가하며, 이는 분포 기반 방법이 비선형 설정에서 우월함을 시사한다.
• PMF를 사용한 S51-lite는 DQN 및 C51보다 유의미하게 성능이 열 劣하며, 이는 분포 투영 메커니즘의 선택이 중요하며 C51의 소프트맥스가 핵심적인 정규화 역할을 한다는 것을 시사한다.
• 저차원 특징 공간(예: Fourier 기반 순서 2)에서는 분포 기반 방법이 DQN보다 성능이 열 劣하며, 이는 분포 기반 방법이 열 劣한 특징 표현에 더 민감함을 보여준다.
• 딥 강화학습에서 분포 기반 RL의 성능 향상은 주로 비선형 함수 근사기에서의 개선된 최적화와 정규화 덕분이며, 특히 C51의 소프트맥스와 깊은 네트워크의 특징 학습이 핵심 요소이다.