[논문 리뷰] Neural Architecture Evolution in Deep Reinforcement Learning for Continuous Control

Jörg K. H. Franke, Gregor Köhler외 2명|arXiv (Cornell University)|2019. 10. 28.

Reinforcement Learning in Robotics참고 문헌 21인용 수 4

한 줄 요약

이 논문은 지식 정련 기반의 돌연변이 연산자를 사용하여 연속 제어 과제에서 신경망 아키텍처와 정책을 동시에 진화시키는 Actor-Critic Neuroevolution (ACN)을 제안한다. 비순차적 강화학습과 신경진화를 조합함으로써 ACN는 일반적으로 수동으로 설계된 것보다 작고 더 효과적인 고성능의 샘플 효율적인 아키텍처를 발견한다. 이 과정에서 고정 아키텍처로 학습하는 것에 비해 계산 오버헤드는 미미하다.

ABSTRACT

Current Deep Reinforcement Learning algorithms still heavily rely on handcrafted neural network architectures. We propose a novel approach to automatically find strong topologies for continuous control tasks while only adding a minor overhead in terms of interactions in the environment. To achieve this, we combine Neuroevolution techniques with off-policy training and propose a novel architecture mutation operator. Experiments on five continuous control benchmarks show that the proposed Actor-Critic Neuroevolution algorithm often outperforms the strong Actor-Critic baseline and is capable of automatically finding topologies in a sample-efficient manner which would otherwise have to be found by expensive architecture search.

연구 동기 및 목표

• 연속 제어 과제에서 딥 강화학습이 수동으로 설계된 신경망 아키텍처에 의존하는 문제를 해결하기 위해.
• 사전 학습 또는 후행 검색이 아닌, 학습 도중에 온라인으로 샘플 효율적인 아키텍처 탐색을 가능하게 하기 위해.
• catastrophic forgetting이나 성능 붕괴 없이 네트워크 구조를 진화시킬 수 있는 안정적인 유전 연산자를 개발하기 위해.
• 공유된 글로벌 리PLAY 버퍼를 사용하여 신경진화를 비순차적 액터-크리틱 학습과 통합하기 위해.
• 진화된 아키텍처가 더 적은 환경 상호작용으로도 고정 아키텍처를 능가하거나 동등하게 성능을 내는지 입증하기 위해.

제안 방법

• ACN는 각각 다른 구조와 매개변수를 가진 액터 및 크리틱 네트워크의 집단을 진화시키기 위해 유전 알고리즘을 사용한다.
• 새로운 지식 정련 기반의 돌연변이 연산자가 부모에서 자식으로 지식을 전달하기 위해 전역 리PLAY 버퍼에서 샘플된 상태에 대해 MSE 손실을 사용한다. 이 연산자는 먼저 네트워크 구조를 확장하고, 그 다음에 성능을 안정화시킨다.
• 돌연변이 과정은 먼저 층이나 노드를 추가하여 용량을 증가시키고, 그 다음에 부모 네트워크로부터 지식 정련을 통해 성능을 안정화시킨다.
• 모든 개체에 대해 TD3를 사용한 비순차적 학습을 적용하며, 전역 리PLAY 버퍼를 공유함으로써 샘플 효율성을 향상시킨다.
• 토너먼트 선택을 통해 적합도(환경 상호작용에서의 누적 수익) 기반으로 다음 세대의 부모를 선정한다.
• 이 방법은 학습 도중 정책이나 가치 함수를 재초기화하지 않고도 네트워크 구조를 수정할 수 있는 온라인 아키텍처 진화를 지원한다.

실험 결과

연구 질문

• RQ1 연속 제어 과제에서 딥 강화학습 학습 도중에 신경망 아키텍처를 온라인으로 진화시킬 수 있는가?
• RQ2 지식 정련 기반의 돌연변이 연산자가 액터-크리틱 네트워크의 구조 변경 시 성능을 안정화시키는가?
• RQ3 진화된 아키텍처가 추가적인 환경 상호작용을 최소화하면서도 수동으로 설계된 아키텍처를 능가하거나 동등하게 성능을 낼 수 있는가?
• RQ4 신경진화와 비순차적 RL의 통합이 샘플 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 다양한 연속 제어 환경에서 나타나는 아키텍처 패턴은 무엇이며, 이는 알려진 최적 설계와 일치하는가?

주요 결과

• ACN는 HalfCheetah, Ant, Walker2d, Humanoid, Hopper의 다섯 가지 연속 제어 벤치마크에서 고정 아키텍처를 사용한 TD3와 동등하거나 그 이상의 성능을 달성한다.
• Humanoid에서 ACN는 아키텍처와 매개변수 공간에서의 탐색적 성향 덕분에 상당한 성능 향상을 이룬다.
• ACN가 발견한 최고의 아키텍처는 일반적으로 기본 TD3 아키텍처보다 작다. 예를 들어 HalfCheetah에서는 [80, 80, 88]의 아키텍처를 사용했고, TD3 기본 아키텍처는 [600, 450]이었다. 그러나 여전히 뛰어나거나 동등한 성능을 내었다.
• Ant 환경에서는 ACN가 276개 유닛을 가진 단일층 아키텍처를 발견했으며, 이는 TD3 기본 아키텍처의 절반 크기였지만 성능은 유사했다.
• 공유된 리PLAY 버퍼와 진화된 아키텍처 덕분에 총 환경 상호작용 횟수가 줄어들어 계산 오버헤드는 매우 미미했다.
• 실험 결과, 학습 도중 최적화기와 타겟 네트워크를 재초기화하는 것이 성능에 해를 끼치지 않으며, 오히려 성능 향상에 기여할 수 있음을 보였다.