[논문 리뷰] Implicit Quantile Networks for Distributional Reinforcement Learning

Will Dabney, Georg Ostrovski외 2명|arXiv (Cornell University)|2018. 06. 14.

Reinforcement Learning in Robotics참고 문헌 46인용 수 197

한 줄 요약

IQN은 반환 분포의 전체 분위수 함수를 학습하여 분포적 및 위험-민감 강화 학습을 가능하게 하고, Atari-57에서 강력한 결과를 달성하며 Rainbow와 경쟁력 있는 성능을 보인다.

ABSTRACT

In this work, we build on recent advances in distributional reinforcement learning to give a generally applicable, flexible, and state-of-the-art distributional variant of DQN. We achieve this by using quantile regression to approximate the full quantile function for the state-action return distribution. By reparameterizing a distribution over the sample space, this yields an implicitly defined return distribution and gives rise to a large class of risk-sensitive policies. We demonstrate improved performance on the 57 Atari 2600 games in the ALE, and use our algorithm's implicitly defined distributions to study the effects of risk-sensitive policies in Atari games.

연구 동기 및 목표

• 분포형 RL을 평균이 아닌 전체 반환 분포를 모델링하는 것으로 동기를 부여한다.
• 재매개화를 통해 암묵적 분위수 함수를 학습하는 유연한 IQN 접근법을 제안한다.
• 학습된 분포에 왜곡 위험 측정을 허용함으로써 위험 민감 정책을 가능하게 한다.
• Atari-57에서 향상된 성능을 시연하고 강건성과 위험-민감 행동을 탐구한다.

제안 방법

• 미분가능한 임베딩을 통해 U([0,1])에서의 기본 샘플 tau를 재매개화하여 상태-행동 분위수 함수 Z_tau(x,a)를 모델링한다.
• 쌍의 tau 샘플에 대한 분위수 회귀 손실을 평균하고 Wasserstein-일관된 목적 함수를 최소화하는 IQN 손실로 학습한다.
• 상태 특징과 곱적으로 상호작용하는 추가적인 tau-임베딩 φ(tau)를 갖는 DQN 유사 아키텍처를 사용하여 Z_tau(x,a)를 생성한다.
• beta를 통해 tau를 매핑하여 위험-민감 정책을 유도하도록 왜곡 위험 측정치를 허용하고 (예: CPW, Wang, CVaR) 왜곡된 기대치를 최적화한다.
• 업데이트당 tau 샘플 수를 제어하는 아키텍처 변형과 하이퍼파라미터(N, N')를 탐색하여 데이터 효율성과 학습 속도의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 반환의 전체 분위수 함수를 학습하는 것이 QR-DQN과 같은 고정 분위수 방식에 비해 분포형 RL을 향상시킬 수 있는가?
• RQ2 암묵적 분위수 표현이 왜곡 위험 측정을 통해 효과적인 위험 민감 정책을 가능하게 하는가?
• RQ3 아키텍처 선택과 샘플링 매개변수(N, N')가 데이터 효율성과 장기 성능에 어떤 영향을 미치는가?
• RQ4 IQN은 Atari-57과 같은 대규모 벤치마크에서 Rainbow 및 QR-DQN과 같은 최첨단 방법과 비교하여 어떤 성능을 보이는가?

주요 결과

평균	중앙값	휴먼 격차	시드
228%	79%	0.334	1
434%	124%	0.178	1
701%	178%	0.152	1
1189%	230%	0.144	2
864%	193%	0.165	3
1019%	218%	0.141	5

• IQN은 QR-DQN을 크게 능가하고 Atari-57에서 Rainbow에 거의 근접한 성능을 달성한다(직교적 개선을 추가하지 않고도).
• IQN은 1000+% 평균 휴먼-정규화 점수와 강한 중앙값 성능을 달성하며, 어려운 게임에서 Rainbow와의 격차를 종종 줄인다.
• tau 샘플 수 N 및 N'를 변화시키면 N=8 및 N'=8이 강한 장기 성능을 제공하고 그 이후에는 수익 감소가 나타난다.
• 위험 기피적 왜곡 측정은 일부 게임에서 성능 향상을 가져올 수 있는 반면, 위험 추구 측정은 다른 게임에서 성능이 저하될 수 있어 위험 선호의 미묘한 영향을 시사한다.
• 위험 중립 평가를 사용하는 IQN도 여전히 기본 방법 대비 상당한 이점을 제공하며, Atari-57에서 Rainbow까지 남은 거리의 절반으로 줄인다.