[논문 리뷰] Policy Optimization by Genetic Distillation

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|2017. 11. 03.

Metaheuristic Optimization Algorithms Research인용 수 11

한 줄 요약

이 논문은 표본 효율적인 딥 강화학습을 위한 새로운 유전 알고리즘인 유전 정책 최적화(GPO)를 소개한다. GPO는 암시 학습을 통해 상태 공간에서 효과적인 정책 교배를 가능하게 하고, 정책 기반 방법을 통해 돌연변이를 적용하여, MuJoCo 이동 작업에서 최신 정책 기반 방법보다 뛰어난 성능과 더 높은 표본 효율성을 달성한다.

ABSTRACT

Genetic algorithms have been widely used in many practical optimization problems. Inspired by natural selection, operators, including mutation, crossover and selection, provide effective heuristics for search and black-box optimization. However, they have not been shown useful for deep reinforcement learning, possibly due to the catastrophic consequence of parameter crossovers of neural networks. Here, we present Genetic Policy Optimization (GPO), a new genetic algorithm for sample-efficient deep policy optimization. GPO uses imitation learning for policy crossover in the state space and applies policy gradient methods for mutation. Our experiments on MuJoCo tasks show that GPO as a genetic algorithm is able to provide superior performance over the state-of-the-art policy gradient methods and achieves comparable or higher sample efficiency.

연구 동기 및 목표

• 파rameter 공간에서의 교배가 신경망 성능을 극적으로 악화시키는 깊이 강화학습에 유전 알고리즘을 적용하는 데 도전하는 것.
• 진화적 탐색과 기울기 기반 학습을 융합하여 딥 정책 최적화의 표본 효율성을 향상시키는 것.
• 파rameter 공간이 아닌 상태 공간에서 작동함으로써 정책 성능를 유지하는 교배 기법을 설계하는 것.
• 무작위 파라미터 변형 대신 정책 기반 기반의 돌연변이를 도입하여 유전적 다양성과 학습 효율성을 향상시키는 것.
• 하이브리드 유전 알고리즘이 연속 제어 작업에서 최신 정책 기반 방법의 성능을 따라하거나 초월할 수 있음을 입증하는 것.

제안 방법

• 더 나은 성능을 보이는 부모의 상태 방문 분포를 모방하는 후손 정책을 통해 상태 공간에서 정책 교배를 수행한다.
• 에피소드 수익을 기반으로 한 적합도 함수를 사용하여 고성능 정책 쌍을 선별하여 교배에 활용함으로써, 진화 과정에서 자연 선택을 가능하게 한다.
• 정책 기반 방법(예: A2C)을 사용하여 돌연변이를 적용하며, 후손 정책은 환경에서 공유된 배치 샘플을 기반으로 기울기 하강법으로 업데이트된다.
• 돌연변이 과정에서 유사한 정책들 간에 데이터를 공유함으로써 표본 효율성을 향상시키고 기울기 추정치의 분산을 감소시킨다.
• 표준 유전 알고리즘 프레임워크에서 선택, 교배, 돌연변이 연산자를 사용하여 여러 세대에 걸쳐 진화하는 정책 집단을 유지한다.
• 유전 연산자를 강화학습 루프에 통합하여, 각 세대가 롤아웃을 통해 평가되고 정책 기반 업데이트를 통해 향상된다.

실험 결과

연구 질문

• RQ1 파라미터 공간에서의 교배가 불안정한 데도 불구하고, 유전 알고리즘이 연속 제어 작업의 딥 정책 최적화에 효과적으로 적용될 수 있는가?
• RQ2 암시 학습을 통한 상태 공간 교배가 파라미터 공간 교배보다 정책 성능를 유지하거나 향상시키는가?
• RQ3 정책 기반 기반의 돌연변이가 무작위 파라미터 변형보다 더 나은 학습 신호와 더 높은 유전적 다양성을 제공하는가?
• RQ4 암시 학습 기반 교배와 정책 기반 돌연변이의 조합이 표본 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 적합도 기반 선택과 데이터 공유를 갖춘 유전 알고리즘 프레임워크가 얼마나 높은 견고성과 확장성 향상에 기여하는가?

주요 결과

• GPO는 Walker2D와 HalfCheetah를 포함한 MuJoCo 이동 작업에서 A2C와 SAC와 같은 최신 정책 기반 방법보다 뛰어난 최종 성능를 달성한다.
• Walker2D와 HalfCheetah의 언덕형 변형에서 GPO는 베이스라인보다 뚜렷이 뛰어나 성능을 보이며, 더 나은 탐색 능력과 견고성을 나타낸다.
• 절단 분석 결과, 상태 공간 교배, 적합도 기반 선택, 돌연변이 과정 중 데이터 공유를 모두 조합한 경우가 가장 높은 성능를 기록했으며, GPO의 정규화된 성능는 1.0, 단일 정책 기반 베이스라인은 0.33이다.
• 돌연변이 과정 중 데이터 공유 메커니즘이 가장 큰 개별 기여를 하였으며, 성능를 0.33(단일)에서 0.83(Base+M)으로 향상시켜 표본 효율성에서의 핵심 기여를 입증한다.
• 모집단 크기를 늘릴수록 GPO의 성능가 향상되며, 이는 확장성과 병렬 처리에 적합함을 보여준다.
• GPO로 훈련된 최종 정책 앙상블은 단일 정책보다 더 높은 견고성을 보이며, 최종 세대에서 집단 내 성능의 일관성이 더 높다는 점에서 이를 입증한다.