[논문 리뷰] Learning Synthetic Environments for Reinforcement Learning with Evolution Strategies

Fábio Furlan Ferreira, Thomas Nierhoff외 1명|arXiv (Cornell University)|2021. 01. 24.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 자연 진화 전략(NES)을 사용한 이중 최적화를 통해 합성 환경(SEs)을 강화학습을 위한 프록시 환경으로 학습하는 방법을 제안한다. SE에서 에이전트를 훈련하고 실환경 성능 기반으로 SE 파라미터를 메타업데이트함으로써, 최대 60% 감소한 훈련 스텝을 달성하면서도 하이퍼파라미터에 대해 강건하고 다양한 에이전트(Dueling DDQN 및 TD3 포함)로의 전이성도 유지한다.

ABSTRACT

This work explores learning agent-agnostic synthetic environments (SEs) for Reinforcement Learning. SEs act as a proxy for target environments and allow agents to be trained more efficiently than when directly trained on the target environment. We formulate this as a bi-level optimization problem and represent an SE as a neural network. By using Natural Evolution Strategies and a population of SE parameter vectors, we train agents in the inner loop on evolving SEs while in the outer loop we use the performance on the target task as a score for meta-updating the SE population. We show empirically that our method is capable of learning SEs for two discrete-action-space tasks (CartPole-v0 and Acrobot-v1) that allow us to train agents more robustly and with up to 60% fewer steps. Not only do we show in experiments with 4000 evaluations that the SEs are robust against hyperparameter changes such as the learning rate, batch sizes and network sizes, we also show that SEs trained with DDQN agents transfer in limited ways to a discrete-action-space version of TD3 and very well to Dueling DDQN.

연구 동기 및 목표

• 에이전트에 종속되지 않는 합성 환경(SEs)을 학습시켜 실제 강화학습(RL) 환경의 효율적 프록시로 활용할 수 있는 방법을 개발하는 것.
• 복잡하거나 보상 신호가 희박한 환경에서의 비효율적 RL 훈련 문제를 해결하기 위해 SEs를 도입하여 정책 학습을 가속화하는 것.
• 학습률, 배치 크기, 네트워크 크기 등의 다양한 하이퍼파라미터에 대해 강건하고 일반화 가능한 훈련을 SEs를 통해 가능하게 하는 것.
• SEs가 SE 훈련 시 사용되지 않은 다양한 RL 알고리즘으로도 성능 전이가 가능한지 조사하는 것.
• SEs에서 에이전트가 무엇을 학습하는지 분석하기 위해 상태 및 보상 분포를 분석하는 것.

제안 방법

• SE 학습 문제를 이중 최적화로 공식화: 내부 루프는 SE에서 에이전트를 훈련하고, 외부 루프는 실환경 성능 기반으로 SE 파라미터를 업데이트한다.
• SEs를 ψ로 파arameterized된 신경망으로 표현하며, 현재 상태 s와 행동 a에 기반해 상태 전이와 보상을 생성한다.
• 이중 최적화의 외부 목표를 위한 2차 도함수 계산을 피하기 위해, SE 파라미터 벡터의 집단을 사용한 자연 진화 전략(NES)을 적용한다.
• 외부 목표(실환경 성능)의 SE 파라미터에 대한 기울기를 추정하는 집단 기반의 ES 업데이트 규칙을 사용한다.
• 내부 루프에서 표준 RL 알고리즘(예: DDQN, Dueling DDQN, TD3)을 사용해 에이전트를 훈련함으로써, SE 훈련이 에이전트에 종속되지 않도록 한다.
• 다양한 하이퍼파라미터와 에이전트 아키텍처에서 실환경에서의 훈련 효율성과 성능을 측정하여 SE의 유효성을 평가한다.

실험 결과

연구 질문

• RQ1 진화 전략을 사용한 이중 최적화를 통해 합성 환경을 효과적으로 학습시킬 수 있는가? 이는 RL 훈련 효율성을 향상시킬 수 있는가?
• RQ2 학습률, 배치 크기, 신경망 너비와 같은 에이전트 하이퍼파라미터의 변화에 대해 학습된 합성 환경은 얼마나 강건한가?
• RQ3 합성 환경에서 훈련된 에이전트가 SE 훈련 시 사용되지 않은 새로운 RL 알고리즘으로 성능 전이가 얼마나 잘 이루어지는가?
• RQ4 학습된 SEs의 상태 및 보상 분포는 어떤 특성을 가지며, 실환경과 비교해 어떻게 다른가?
• RQ5 에이전트는 SEs에서 의미 있는 표현을 학습하는가, 아니면 분포 이탈이나 과적합으로 인해 성능이 향상되는가?

주요 결과

• 제안된 방법은 CartPole-v0와 Acrobot-v1를 해결하기 위해 실환경에서 직접 훈련하는 것보다 최대 60% 적은 훈련 스텝을 요구한다.
• DDQN 에이전트로 훈련된 합성 환경은 Dueling DDQN로도 잘 일반화되어 강력한 성능 전이를 보이며, TD3의 이산 행동 버전으로는 제한적이지만 측정 가능한 전이 성능도 보인다.
• 학습된 SEs는 4000번의 평가를 통해 학습률, 배치 크기, 신경망 너비 등 다양한 하이퍼파라미터 변화에 대해 강건하다.
• SEs의 상태 및 보상 분포는 실환경과 비교해 분포 이탈을 보이며, SEs는 더 좁고 집중된 상태 분포와 더 농축된 보상 신호를 생성한다.
• 시각적 분석 결과, SE 응답은 에이전트 행동보다 실환경 다이내믹스와 더 밀접하게 일치함을 확인하여, 분포 이탈의 원인이 SE 자체에 있음을 시사한다.
• 정성적 분석 결과, SEs는 높은 신호를 가진 상태를 강조함으로써 '가이드 시스템'처럼 작용하며, 에이전트가 더 효율적으로 학습하도록 돕는다.