[논문 리뷰] Statistics and Samples in Distributional Reinforcement Learning

Mark Rowland, Robert Dadashi외 4명|arXiv (Cornell University)|2019. 02. 21.

Evolutionary Algorithms and Applications인용 수 24

한 줄 요약

이 논문은 분포 강화 학습(DRL)을 위한 통합 프레임워크를 제안하며, 알고리즘을 수익 분포 통계의 순환적 추정과 분포 복원을 위한 보간 전략으로 재구성한다. Expectile Distributional RL(EDRL)을 제안하며, 모멘트를 일반화한 강건한 통계인 expectile을 학습하고, 더 높은 샘플 효율성과 분포 근사 성능을 확보한다. ER-DQN은 Atari-57 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

We present a unifying framework for designing and analysing distributional reinforcement learning (DRL) algorithms in terms of recursively estimating statistics of the return distribution. Our key insight is that DRL algorithms can be decomposed as the combination of some statistical estimator and a method for imputing a return distribution consistent with that set of statistics. With this new understanding, we are able to provide improved analyses of existing DRL algorithms as well as construct a new algorithm (EDRL) based upon estimation of the expectiles of the return distribution. We compare EDRL with existing methods on a variety of MDPs to illustrate concrete aspects of our analysis, and develop a deep RL variant of the algorithm, ER-DQN, which we evaluate on the Atari-57 suite of games.

연구 동기 및 목표

• 수익 분포 통계의 순환적 추정 기반으로 기존 DRL 알고리즘을 통합하는 통계적 프레임워크를 제공한다.
• 통계 추정기와 분포 보간 전략을 명확히 구분하여 DRL 알고리즘 분석 및 설계의 과제를 해결한다.
• Bellman 업데이트를 통해 정확히 학습할 수 있는 통계량(예: 모멘트, 분위수, expectile)을 규명하고, 그렇지 않은 경우의 오차 보장을 제공한다.
• Expectile 추정 기반으로 새로운 DRL 알고리즘인 EDRL을 개발하여 강건성과 분포 근사 성능을 향상시킨다.
• EDRL 및 그 딥 러닝 변형인 ER-DQN을 타블라 모형 MDP와 Atari-57 환경에서 평가하여 이론적 주장의 타당성을 검증한다.

제안 방법

• DRL을 두 단계 과정으로 공식화: (1) 수익 분포의 통계량(예: 모멘트, expectile)을 순환적으로 추정하고, (2) 해당 통계량과 일관된 전체 분포를 보간한다.
• Bellman 닫힘 성질을 도입하여 어떤 통계량이 Bellman 업데이트를 통해 정확히 학습 가능한지 판단하며, 유일하게 모멘트만 이 성질을 만족함을 보여준다.
• 비닫힘 통계량(예: 분위수, expectile)의 근사 오차를 정량화하고 경계를 제공하기 위해 근사 Bellman 닫힘을 제안한다.
• 통계 프레임워크에서 유도된 미분 가능하고 기울기 기반 업데이트 규칙을 사용해 expectile을 추정하는 새로운 알고리즘인 EDRL을 개발한다.
• 신경망을 사용해 expectile 함수를 표현하고 expectile 회귀 기반의 미분 가능 손실을 통해 훈련하는, EDRL의 딥 러닝 확장인 ER-DQN을 구성한다.
• 추정된 통계량에서 유도된 보간 샘플을 사용해 Bellman 백업을 시뮬레이션함으로써 엔드 투 엔드 훈련 및 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 DRL 알고리즘은 통계적 추정과 분포 보간 기반의 프레임워크에 통합될 수 있는가?
• RQ2 수익 분포의 어떤 통계량이 Bellman 업데이트를 통해 정확히 학습될 수 있는가?
• RQ3 Bellman 닫힘 성질을 만족하지 않는 통계량에 대해, 이론적 오차 보장을 갖춘 체계적인 추정 방법을 도출할 수 있는가?
• RQ4 Expectile 기반으로 새로운 DRL 알고리즘을 설계할 수 있으며, 이는 기존 방법보다 분포 근사 성능과 샘플 효율성에서 뛰어나게 되는가?
• RQ5 새로운 알고리즘의 딥 러닝 변형인 ER-DQN은 Atari-57와 같은 표준 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• EDRL은 장기 환경나 고분산 환경에서 EDRL-Naive보다 안정적인 학습 동역학 덕분에 expectile 추정과 분포 복원에서 뛰어난 성능을 보인다.
• EDRL에서 사용하는 expectile 수가 증가할수록 보간된 분포와 진짜 수익 분포 간의 워싱어스타인 거리가 감소함을 확인하여, 더 나은 분포 근사 성능을 입증한다. 반면 EDRL-Naive는 expectile 수 증가에 따라 성능이 악화된다.
• ER-DQN은 Atari-57 벤치마크에서 최고 성능을 기록하며, 57개 게임 전반에서 QR-DQN 및 기타 기준 모델보다 중앙값 기준 인간 정규화 점수를 초월한다.
• $N$-Chain 환경에서 EDRL은 장기 환경에서도 정확한 expectile 추정을 유지하지만, EDRL-Naive는 붕괴됨을 확인하여 타당한 통계 추정의 중요성을 입증한다.
• 프레임워크는 비록 Bellman 닫힘 성질을 만족하지 않지만, 근사 Bellman 닫힘 하에서 낮은 근사 오차를 달성함으로써 분위수 기반 방법(예: QR-DQN)이 효과적인 이유를 설명한다.
• 실험 결과는 특히 꼬리가 두꺼운 수익 분포에서, 분위수보다 expectile이 더 강건하고 정보적인 요약 통계량임을 확인한다.