[논문 리뷰] Enhanced Experience Replay Generation for Efficient Reinforcement Learning

Vincent Huang, Tobias Ley외 2명|arXiv (Cornell University)|2017. 05. 23.

Reinforcement Learning in Robotics참고 문헌 8인용 수 3

한 줄 요약

이 논문은 희박하고 느린 데이터 샘플링이 발생하는 실시간 시스템에서 강화학습(Reinforcement Learning, RL)의 학습 속도를 향상시키기 위해 개선된 GAN 기반 경험 재현(Enhanced GAN-based experience replay, EGAN)을 제안한다. 상태-행동-보상 간의 관계를 활용하여 합성 데이터의 품질을 향상시킴으로써 EGAN은 RL 에이전트를 사전 학습시키며, 사전 학습 없이 학습하는 것에 비해 학습 시간을 20% 감소시키고, 표준 GAN 기반 사전 학습보다도 5% 향상된 성능을 달성하며 성능 변동성이 낮아졌다.

ABSTRACT

Applying deep reinforcement learning (RL) on real systems suffers from slow data sampling. We propose an enhanced generative adversarial network (EGAN) to initialize an RL agent in order to achieve faster learning. The EGAN utilizes the relation between states and actions to enhance the quality of data samples generated by a GAN. Pre-training the agent with the EGAN shows a steeper learning curve with a 20% improvement of training time in the beginning of learning, compared to no pre-training, and an improvement compared to training with GAN by about 5% with smaller variations. For real time systems with sparse and slow data sampling the EGAN could be used to speed up the early phases of the training process.

연구 동기 및 목표

• 특히 5G 통신 시스템에서 발생하는 실시간 강화학습(RL) 환경에서의 느리고 희박한 데이터 샘플링 문제를 해결한다.
• 서비스 품질에 영향을 줄 수 있는 탐색 위험으로 인해 일반적으로 긴 학습 기간이 소요되는 실제 세계의 RL 응용 프로그램에서의 장기적 학습 기간을 단축시킨다.
• 생성 모델로부터 생성된 합성 경험을 사용해 RL 에이전트를 사전 학습시켜 샘플 효율성을 향상시킨다.
• 기존의 표준 GAN과는 달리 상태, 행동, 보상 간의 관계를 모델링하여 생성된 경험의 품질을 향상시킨다.
• 생산 기반 핵심 시스템에서 더 빠른 수렴과 안정된 학습을 가능하게 하는 강력하고 효율적인 사전 학습 프레임워크를 개발한다.

제안 방법

• 목표 환경에서 무작위 정책을 사용해 실 경험 데이터를 소량(500 에피소드) 수집한다.
• 실 경험 데이터를 기반으로 생성 대비 신경망(Generative Adversarial Network, GAN)을 훈련시어 합성 상태-행동-보상 튜플을 생성한다.
• 생성 샘플의 품질을 향상시키기 위해 상태와 행동 간의 조건부 관계를 모델링하는 Enhancer 신경망을 도입한다.
• 향상된 합성 데이터(6000 배치)를 사용해 온라인 학습 전에 RL 에이전트의 정책 네트워크를 사전 학습시킨다.
• 온라인 학습에 Proximal Policy Optimization(PPO)를 적용하며, 사전 학습된 정책을 초기화 값으로 사용한다.
• 100 에피소드의 이동 평균 보상으로 학습 곡선을 비교하여, 사전 학습 없음 및 표준 GAN 기반 사전 학습과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 GAN에 의해 생성된 합성 경험을 사용해 RL 에이전트를 사전 학습시키는 것이, 희박한 데이터가 발생하는 실제 환경에서 최적 성능에 도달하는 데 소요되는 시간을 크게 줄일 수 있는가?
• RQ2 생성 과정에서 상태-행동-보상 간의 관계를 모델링하면, RL 사전 학습을 위한 합성 경험의 품질과 유용성에 어떤 영향을 미치는가?
• RQ3 제안된 EGAN 프레임워크는 표준 GAN 기반 사전 학습 및 사전 학습 없음과 비교해 샘플 효율성과 학습 안정성을 향상시키는가?
• RQ4 실제 생산 환경에서 비용과 성능 향상 간의 균형을 고려할 때, 최적의 사전 학습 길이(에피소드 수)는 얼마인가?
• RQ5 EGAN은 학습 곡선의 변동성을 얼마나 줄여주며, 이는 RL 에이전트의 강건성 향상 여부를 어떻게 반영하는가?

주요 결과

• EGAN 사전 학습은 사전 학습 없이 학습하는 것에 비해 학습에 소요되는 시간을 20% 감소시켜 뛰어난 샘플 효율성 향상을 입증한다.
• EGAN 접근법은 표준 GAN 기반 사전 학습 대비 학습 속도를 5% 향상시키며, 이는 Enhancer 구성 요소가 효과적으로 데이터 품질을 향상시킨다는 것을 시사한다.
• EGAN 사전 학습을 거친 에이전트의 학습 곡선은 더 빠른 초도 상승을 보이며, 더 나은 초기화로 인한 더 빠른 정책 최적화를 나타낸다.
• 이동 평균 보상 곡선에서 표준 편차 밴드가 더 좁아진 것으로 나타나 성능 변동성이 낮아졌으며, 이는 더 높은 강건성을 의미한다.
• 실 경험 데이터 500 에피소드로의 사전 학습은 더 긴 사전 학습(예: 5000 에피소드)보다 비용 효율적이고 효율적이다. 이는 과도한 데이터 오버헤드 없이도 뛰어난 성능 향상을 달성하기 때문이다.
• EGAN이 향상시킨 합성 데이터 덕분에, RL 에이전트는 누적 샘플 수가 적은 상태에서도 더 높은 평균 보상을 달성하며, 이는 희박한 환경에서의 샘플 효율성 향상이 실제로 이루어졌음을 확인한다.