[논문 리뷰] Distributional Multivariate Policy Evaluation and Exploration with the Bellman GAN

Dror Freirich, Ron Meir외 1명|arXiv (Cornell University)|2018. 08. 06.

Forecasting Techniques and Applications인용 수 7

한 줄 요약

이 논문은 분포 강화 학습(DiRL)을 위한 GAN 기반 접근법을 제안하며, 분포 벨만 방정식과 생성적 적대적 네트워크 간의 등가성을 설정함으로써 다변량 보상 환경에서 효과적인 정책 평가와 탐색을 가능하게 한다. 이 방법은 고차원의 가치 분포를 학습하고 상태 및 수익 분포 모델링을 통합하여 새로운 차이 기반 내재 탐색 전략을 이끌어낸다.

ABSTRACT

The recently proposed distributional approach to reinforcement learning (DiRL) is centered on learning the distribution of the reward-to-go, often referred to as the value distribution. In this work, we show that the distributional Bellman equation, which drives DiRL methods, is equivalent to a generative adversarial network (GAN) model. In this formulation, DiRL can be seen as learning a deep generative model of the value distribution, driven by the discrepancy between the distribution of the current value, and the distribution of the sum of current reward and next value. We use this insight to propose a GAN-based approach to DiRL, which leverages the strengths of GANs in learning distributions of high-dimensional data. In particular, we show that our GAN approach can be used for DiRL with multivariate rewards, an important setting which cannot be tackled with prior methods. The multivariate setting also allows us to unify learning the distribution of values and state transitions, and we exploit this idea to devise a novel exploration method that is driven by the discrepancy in estimating both values and states.

연구 동기 및 목표

• 실제 제어 작업에서 흔한 다변량 보상에 대해 이전 DiRL 방법의 한계를 해결하기 위해, 다변량 보상을 효과적으로 다룰 수 있도록 하는 것.
• 샘플 효율성과 탐색 성능을 향상시키기 위해 가치 분포 학습과 상태 전이 분포 학습을 하나의 프레임워크 안에서 통합하는 것.
• 가치 분포와 상태 분포의 예측 오차를 활용하여 탐색을 이끄는 새로운 내재 탐색 방법을 개발하는 것.
• 전통적인 DiRL 방법이 실패하는 고차원 상관관계가 있는 보상 공간에서 효과적인 정책 평가와 탐색을 가능하게 하는 것.

제안 방법

• 분포 벨만 방정식과 워샤르스키 GAN 설정 간의 등가성을 수립하며, 분포 거리 측정으로 워샤르스키-1 거리 측정법을 사용한다.
• 상태-행동 쌍에 조건이 되는 가치 분포(수익)를 생성하는 생성기 네트워크를 훈련시키고, 디스커리미네이터는 진짜와 생성된 수익 분포를 구분하도록 한다.
• 수익을 벡터 값 랜덤 변수로 모델링하여 다변량 보상에 대한 벨만 방정식을 확장함으로써 상관관계가 있는 보상 성분의 동시 학습을 가능하게 한다.
• 공유된 잠재 공간을 사용하여 수익과 다음 상태 분포를 동시에 훈련함으로써 GAN 프레임워크에 상태 전이 모델링을 통합한다.
• 수익과 다음 상태의 예측된 분포와 실제 분포 간의 차이를 기반으로 한 새로운 내재 보상 신호를 설계하여 탐색을 이끌도록 한다.
• 진짜와 생성된 가치 분포 간의 워샤르스키 거리를 최소화하는 GAN 손실 함수를 사용하여 훈련 안정성과 샘플 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 분포 벨만 방정식은 공식적으로 GAN 프레임워크로 매핑될 수 있는가? 이는 훈련 안정성과 분포 모델링에 어떤 영향을 미치는가?
• RQ2 제안된 GAN 기반 DiRL 방법은 이전 방법이 이산화 제약으로 인해 실패하는 다변량 고차원 보상 함수를 효과적으로 다룰 수 있는가?
• RQ3 가치 분포와 상태 분포의 동시 모델링은 강화 학습 환경에서 탐색을 어떻게 향상시킬 수 있는가?
• RQ4 분포 예측 오차에서 유도된 차이 기반 내재 보상은 더 효율적인 탐색과 더 빠른 수렴을 이끌어내는가?

주요 결과

• 분포 벨만 방정식은 워샤르스키 GAN과 수학적으로 등가적이며, 이는 고차원 가치 분포에 대한 깊이 있는 생성 모델의 안정적 훈련을 가능하게 한다.
• 제안된 벨만 GAN은 미로 환경에서 8차원 수익 분포를 성공적으로 모델링하여 이전 DiRL 방법이 포착하지 못한 다중 모odal성과 구조적 특성을 보였다.
• 이 방법은 다변량 보상 설정, 예를 들어 각 상태에서 다수의 보상 유형에 대해 서로 다른 보상 패tern을 보이는 다중 보상 미로와 같은 환경에서 효과적인 정책 평가를 가능하게 했다.
• 분포 차이에 기반한 내재 보상 신호를 사용하는 W-1ME 탐색 알고리즘은 고보상·고위험 경로(예: 2-Face Climber의 북쪽면)의 방문 빈도를 크게 증가시켜 평균 수익을 높였다.
• W-1ME에서 탐색 초모수 η의 값이 높을수록 더 어려운데도 보상이 높은 북쪽면에서의 상태 방문 빈도가 증가하여, 이 방법이 최적 정책으로 향하는 탐색을 효과적으로 이끌 수 있음을 확인했다.
• 가치 분포와 상태 분포 학습을 통합한 프레임워크는 샘플 효율성을 향상시키고 더 정보적인 탐색을 가능하게 하였으며, 이는 시뮬레이션 및 고차원 벤치마크 모두에서 입증되었다.