[논문 리뷰] GAN Q-learning.

Thang Doan, Bogdan Mazoure외 1명|arXiv (Cornell University)|2018. 05. 13.

Reinforcement Learning in Robotics참고 문헌 16인용 수 8

한 줄 요약

이 논문은 마르코프 결정 과정(Markov Decision Processes)에서 수익 분포를 모델링하기 위해 생성적 적대적 네트워크(GANs)를 활용하는 새로운 분포 강화학습 방법인 GAN Q-학습을 소개한다. GAN의 생성 능력과 Q-학습을 결합함으로써, 이 방법은 표본 및 OpenAI Gym 환경에서 경쟁 가능한 성능을 달성하며, 전통적인 분포 강화학습 방법에 대비해 유연하고 딥러닝 기반의 대안을 제공한다.

ABSTRACT

Distributional reinforcement learning (distributional RL) has seen empirical success in complex Markov Decision Processes (MDPs) in the setting of nonlinear function approximation. However, there are many different ways in which one can leverage the distributional approach to reinforcement learning. In this paper, we propose GAN Q-learning, a novel distributional RL method based on generative adversarial networks (GANs) and analyze its performance in simple tabular environments, as well as OpenAI Gym. We empirically show that our algorithm leverages the flexibility and blackbox approach of deep learning models while providing a viable alternative to traditional methods.

연구 동기 및 목표

• 생성 모델을 활용한 분포 강화학습의 새로운 응용 방식을 탐색하기 위해.
• 기존 분포 강화학습 방법의 한계를 보완하기 위해, 수익 분포를 모델링하기 위해 GAN 기반 접근법을 도입하기 위해.
• 제안된 방법의 성능을 표본 및 연속 제어 환경에서 평가하기 위해.
• GAN 기반 모델링이 기존의 분포 강화학습 기법에 비해 유연하고 블랙박스 기반의 대안을 제공할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 수익 분포를 모델링하기 위해 생성적 적대적 네트워크(GAN) 프레임워크를 사용하여 분포 Q-학습을 수립한다.
• 생성자 네트워크는 수익 분포에서 표본을 생성하는 데 학습하고, 판별자 네트워크는 실제 수익 표본과 생성된 수익 표본을 구분한다.
• 생성자는 판별자를 속이도록 훈련되어, 적대적 훈련을 통해 진정한 수익 분포를 효과적으로 학습한다.
• 생성된 수익 표본을 사용하여 Q-값 함수를 업데이트하며, GAN의 출력을 Q-학습 업데이트 규칙에 통합한다.
• 이 방법은 복잡한 환경에서 비선형 함수 근사를 가능하게 하기 위해 딥 네트워크를 활용한다.
• 훈련 과정은 표준 GAN 훈련과 유사하게 생성자와 판별자를 번갈아가며 업데이트하며, 강화학습 목표를 갖는다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크가 분포 강화학습에서 수익 분포를 효과적으로 모델링할 수 있는가?
• RQ2 표본 및 연속 제어 환경에서 GAN Q-학습은 표준 분포 강화학습 방법과 비교해 어떻게 성능을 내는가?
• RQ3 GAN의 적대적 훈련 프레임워크가 Q-학습에서 표본 효율성 또는 분포 정확도를 향상시키는가?
• RQ4 GAN의 블랙박스 성격이 복잡한 수익 분포를 모델링하는 데 얼마나 높은 유연성을 제공하는가?

주요 결과

• GAN Q-학습은 표본 환경에서 수익 분포를 성공적으로 모델링하여 안정적인 학습과 수렴을 보였다.
• 이 방법은 OpenAI Gym 환경에서 경쟁 가능한 성능을 달성하여 복잡한 마르코프 결정 과정에서의 타당성을 입증했다.
• 이 접근법은 딥러닝과 GAN의 유연성을 활용하여 기존의 분포 강화학습 방법에 대한 강력한 대안을 제공한다.
• 실험 결과는 적대적 훈련 메커니즘이 명시적인 분포 파rameterization이 없이도 분포 모델링을 향상시킨다는 것을 시사한다.