[논문 리뷰] ERL-Re$^2$: Efficient Evolutionary Reinforcement Learning with Shared State Representation and Individual Policy Representation

Jianye Hao, Pengyi Li외 4명|arXiv (Cornell University)|2022. 10. 26.

Reinforcement Learning in Robotics인용 수 16

한 줄 요약

ERL-Re²는 공통적인 특징 학습을 위한 공유 비선형 상태 표현과 효율적인 행동 수준의 진화를 위한 개별 선형 정책 표현을 통해 딥 강화 학습과 진화 알고리즘을 통합하는 새로운 진화적 강화 학습 프레임워크를 제안한다. 선형 정책 공간에서 새로운 교차 및 돌연변이 연산을 통해 정책 최적화를 수행하고, 정책 확장형 가치 함수 근사기(PeVFA)를 통합함으로써 연속 제어 과제에서 최고 수준의 성능을 달성하며, 샘플 효율성과 수렴 속도가 향상된다.

ABSTRACT

Deep Reinforcement Learning (Deep RL) and Evolutionary Algorithms (EA) are two major paradigms of policy optimization with distinct learning principles, i.e., gradient-based v.s. gradient-free. An appealing research direction is integrating Deep RL and EA to devise new methods by fusing their complementary advantages. However, existing works on combining Deep RL and EA have two common drawbacks: 1) the RL agent and EA agents learn their policies individually, neglecting efficient sharing of useful common knowledge; 2) parameter-level policy optimization guarantees no semantic level of behavior evolution for the EA side. In this paper, we propose Evolutionary Reinforcement Learning with Two-scale State Representation and Policy Representation (ERL-Re$^2$), a novel solution to the aforementioned two drawbacks. The key idea of ERL-Re$^2$ is two-scale representation: all EA and RL policies share the same nonlinear state representation while maintaining individual} linear policy representations. The state representation conveys expressive common features of the environment learned by all the agents collectively; the linear policy representation provides a favorable space for efficient policy optimization, where novel behavior-level crossover and mutation operations can be performed. Moreover, the linear policy representation allows convenient generalization of policy fitness with the help of the Policy-extended Value Function Approximator (PeVFA), further improving the sample efficiency of fitness estimation. The experiments on a range of continuous control tasks show that ERL-Re$^2$ consistently outperforms advanced baselines and achieves the State Of The Art (SOTA). Our code is available on https://github.com/yeshenpy/ERL-Re2.

연구 동기 및 목표

• 개별 에이전트가 고립적으로 상태 표현을 학습함으로써 발생하는 정책 학습의 비효율성과 중복성을 해결한다.
• 파라미터 수준의 진화에서의 한계를 극복하여 의미론적 행동 진화가 부족하고 정책 붕괴 위험이 있는 문제를 해결한다.
• 공유 표현을 통해 정책 간 가치 함수 일반화를 가능하게 하여 진화적 강화 학습의 샘플 효율성을 향상시킨다.
• 비선형 파라미터 공간이 아닌 선형 정책 표현 공간에서 작동함으로써 효율적이고 행동 수준의 정책 진화를 가능하게 한다.
• 딥 강화 학습과 진화 알고리즘의 상호보완적 조합을 통해 연속 제어 벤치마크에서 최고 수준의 성능를 달성한다.

제안 방법

• 이중 척도 표현 도입: 모든 에이전트가 공동으로 학습하는 공유 비선형 상태 표현 $Z_{\phi}$와 개별 선형 정책 표현 $W$.
• 모든 에이전트의 가치 함수 최적화에서 유도된 통합 경사 방향을 사용하여 공유 상태 표현 $Z_{\phi}$를 최적화한다.
• 행동 수준의 의미론적 진화를 가능하게 하기 위해 선형 정책 표현 공간에서 직접 교차 및 돌연변이 연산을 수행한다.
• 1단계 TD 학습을 사용하여 오프-폴리시 방식으로 훈련하는 정책 확장형 가치 함수 근사기(PeVFA) $\mathbb{Q}_{\theta}(s,a,W)$를 제안한다.
• PeVFA를 진화적 및 딥 강화 학습 에이전트와 통합하여 정책 간 가치 추정을 일반화하고 샘플 효율성을 향상시킨다.
• 정책 집단의 평균과 공분산 갱신을 유전자 연산자로 대체함으로써 CEM과 같은 다양한 진화 전략과의 탄력적 통합을 지원한다.

실험 결과

연구 질문

• RQ1 진화적 및 강화 학습 에이전트 간 공유된 비선형 상태 표현이 특징 학습 효율성을 향상시키고 중복성을 감소시키는가?
• RQ2 선형 정책 공간에서의 행동 수준의 진화가 파라미터 수준의 진화보다 더 안정적이고 효과적인 정책 최적화를 이끌 수 있는가?
• RQ3 PeVFA의 오프-폴리시 훈련이 다양하게 변형된 정책 집단 간에 효율적이고 일반화 가능한 적합도 추정을 가능하게 하는가?
• RQ4 ERL-Re²에서 딥 강화 학습과 진화 알고리즘의 상호작용이 기존 최고 수준의 방법보다 연속 제어 과제에서 뛰어난 성능을 내는가?
• RQ5 이중 척도 표현 프레임워크가 복잡한 제어 환경에서 샘플 효율성과 수렴 속도를 얼마나 향상시키는가?

주요 결과

• ERL-Re²는 MuJoCo 벤치마크 세트의 다양한 연속 제어 과제에서 최고 수준의 성능를 달성한다.
• 공유된 상태 표현은 정책 전용 표현의 중복성을 제거함으로써 특징 학습 효율성을 크게 향상시킨다.
• 선형 정책 표현은 효과적인 행동 수준의 교차 및 돌연변이를 가능하게 하여 파라미터 수준의 진화에서 관찰된 정책 붕괴 위험을 감소시킨다.
• 오프-폴리시 PeVFA 훈련은 샘플 복잡도를 감소시켜 효율적인 적합도 추정을 가능하게 하며, 전체 학습 효율성을 향상시킨다.
• Swimmer 및 Humanoid와 같은 다양한 환경에서 ERL 및 기타 하이브리드 RL-EA 방법과 비교해도 ERL-Re²가 뛰어난 성능를 보인다.
• 특히 전통적인 진화 방법이 어려움을 겪는 고차원 행동 공간에서 강력한 일반화 능력과 안정성을 보여준다.