[논문 리뷰] A Distributional Perspective on Reinforcement Learning

Marc G. Bellemare, Will Dabney외 1명|arXiv (Cornell University)|2017. 07. 21.

Reinforcement Learning in Robotics참고 문헌 38인용 수 241

한 줄 요약

논문은 강화학습에서 보상 분포(Z의 전체 분포)를 모델링하는 것을 주장하고, 정책 평가를 위한 Wasserstein 거리에서 수축성을 가지는 분포적 벨만 프레임워크를 도입하며, 제어 설정의 불안정성을 분석하고, 명시적(discrete) 분포 학습 알고리즘(카테고리얼 DQN)을 제시하여 Atari에서 강력한 성능을 달성한다.

ABSTRACT

In this paper we argue for the fundamental importance of the value distribution: the distribution of the random return received by a reinforcement learning agent. This is in contrast to the common approach to reinforcement learning which models the expectation of this return, or value. Although there is an established body of literature studying the value distribution, thus far it has always been used for a specific purpose such as implementing risk-aware behaviour. We begin with theoretical results in both the policy evaluation and control settings, exposing a significant distributional instability in the latter. We then use the distributional perspective to design a new algorithm which applies Bellman's equation to the learning of approximate value distributions. We evaluate our algorithm using the suite of games from the Arcade Learning Environment. We obtain both state-of-the-art results and anecdotal evidence demonstrating the importance of the value distribution in approximate reinforcement learning. Finally, we combine theoretical and empirical evidence to highlight the ways in which the value distribution impacts learning in the approximate setting.

연구 동기 및 목표

• 보상 Z의 기대값만이 아닌 분포에 초점을 맞추어 강화학습의 분포형 관점을 동기화한다.
• 정책 평가 및 제어에서 분포형 벨만 연산자의 이론적 거동을 특성화한다.
• 근사 가치 분포를 학습하는 실용적인 알고리즘을 개발하고 Atari 게임에서의 실험적 성능을 평가한다.

제안 방법

• 정책 아래의 가치 분포 Z를 정의하고 분포형 벨만 방정식을 형식화한다.
• 정책 평가에서 분포형 벨만 연산자(T^π)의 수축 특성을 분석하기 위해 Wasserstein 지표를 사용한다.
• 제어 설정에서 분포형 최적성 연산자가 어떤 거리에서도 수축하지 않으며 고정점을 가지지 않을 수 있는 비수축성 문제를 보인다.
• Z를 모델링하기 위해 그리드 위의 원자들로 구성된 매개변수화된 이산 분포를 제시하고, 지지에 대한 투영 기반 벨만 업데이트(다중분류 분류)를 도입한다.
• 프로젝션을 통해 학습된 카테고리 분포형 DQN(C51)을 KL 발산을 최소화하는 방식으로 학습시켜 현재 분포와 투영된 벨만 업데이트 간의 차이를 줄인다.
• Arcade Learning Environment의 Atari 2600 게임에서 DQN 계열 베이스라인과 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 전체 가치 분포를 모델링하는 것이 기대값만 학습하는 것보다 이론적, 경험적 이점을 제공하는가?
• RQ2 정책 평가와 제어 설정에서 분포형 벨만 연산자가 적합한 거리에서 수축하는가?
• RQ3 이산화된 분포를 통한 타당한 분포형 근사를 학습하여 Atari 게임과 같은 복잡한 작업에서 개선된 성능을 얻을 수 있는가?

주요 결과

• 정책 평가를 위한 분포형 벨만 연산자는 최대 Wasserstein 거리에서 γ-수축이며, 실제 가치 분포 Z^π로 수렴한다.
• 제어 설정에서 분포형 최적성 연산자는 어떤 분포 간 거리에서도 수축하지 않으며 고정점을 가질 수 없을 수 있어 탐욕적 업데이트에서 불안정하다는 것을 나타낸다.
• 전체 가치 분포를 학습하는 것은 다모드성을 보존하고 함수 근사 및 비정상 정책 하에서 더 안정적인 학습으로 이어질 수 있다.
• 투영(카테고리 알고리즘)을 통해 학습된 이산 매개변수 분포는 DQN보다 여러 Atari 게임에서 우수하며 일부 타이틀에서 최첨단 결과를 달성한다.
• 분포의 원소(atom) 수를 늘리면 일반적으로 성능이 향상되며, 여러 게임에서 DQN에 비해 상당한 이점을 보인다.
• 이 접근법은 희귀하거나 희박한 보상을 더 효과적으로 전파하여 희박 보상 게임의 성능을 개선한다.