[논문 리뷰] Evolvability ES: Scalable and Direct Optimization of Evolvability

Alexander Gajewski, Jeff Clune외 2명|arXiv (Cornell University)|2019. 07. 13.

Evolutionary Algorithms and Applications참고 문헌 40인용 수 9

한 줄 요약

이 논문은 대규모 신경망에서 돌연변이에 의한 행동 다양성을 최대화하여 적응 가능성(evolvability)을 직접 최적화하는 확장 가능한 진화 전략인 Evolvability ES를 소개한다. 이는 운동 임무에서 MAML에 경쟁 가능한 성능을 달성하면서도 빠른 적응과 다중 모odal 인구집단에서의 잠재적 전문화를 가능하게 한다.

ABSTRACT

Designing evolutionary algorithms capable of uncovering highly evolvable representations is an open challenge; such evolvability is important because it accelerates evolution and enables fast adaptation to changing circumstances. This paper introduces evolvability ES, an evolutionary algorithm designed to explicitly and efficiently optimize for evolvability, i.e. the ability to further adapt. The insight is that it is possible to derive a novel objective in the spirit of natural evolution strategies that maximizes the diversity of behaviors exhibited when an individual is subject to random mutations, and that efficiently scales with computation. Experiments in 2-D and 3-D locomotion tasks highlight the potential of evolvability ES to generate solutions with tens of thousands of parameters that can quickly be adapted to solve different tasks and that can productively seed further evolution. We further highlight a connection between evolvability and a recent and popular gradient-based meta-learning algorithm called MAML; results show that evolvability ES can perform competitively with MAML and that it discovers solutions with distinct properties. The conclusion is that evolvability ES opens up novel research directions for studying and exploiting the potential of evolvable representations for deep neural networks.

연구 동기 및 목표

• 대규모 신경망에서 매우 적응 가능한 표현을 효율적으로 발견할 수 있는 진화 알고리즘을 설계하는 데 도전하는 것.
• 간접적인 선택 압력에 의존하는 대신, 돌연변이를 통한 다양한 행동을 생성할 수 있는 능력인 적응 가능성(즉, 적응 가능성)을 직접 최적화하는 것.
• 계산적으로 효율적인 진화 전략 프레임워크를 사용하여 대규모 게놈(예: 수천 개의 파라미터)에 대한 적응 가능성 최적화를 스케일링하는 것.
• 진화 계산에서의 적응 가능성과 기울기 기반 메타학습(MAML 등) 간의 연결을 탐색하여, 빠른 적응에서 공통 원리가 존재할 수 있음을 제안하는 것.

제안 방법

• 정책의 변형된 변종들 사이에서 행동 다양성의 엔트로피를 최대화하는 새로운 목표를 직접 최적화할 수 있도록 진화 전략(ES) 프레임워크를 변형한다.
• 스토케스틱 계산 그래프(Stochastic Computation Graphs, SCGs)를 사용하여 적응 가능성 목표에 대한 기울기 추정치를 계산하고, 돌연변이에 대한 기대값을 통한 역전파를 가능하게 한다.
• 다중 모달 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 인구집단을 사용하여 다수의 전문화된 행동 모드를 모델링하고 진화시키며, 랜덤 초기화 또는 대칭성 깨는 시딩 방식을 사용한 변종을 도입한다.
• 적응 가능성 목표를 ES 업데이트 규칙에 통합하여 성능과 적응 가능성의 공동 최적화를 가능하게 하며, 추가 계산 비용을 최소화한다.
• 성능 평가에 사용된 동일한 롤아웃을 활용하여 적응 가능성 기울기 추정치를 계산함으로써, 추가 환경 상호작용 없이도 효율적인 보조 최적화를 가능하게 한다.
• 피드포워드 신경망 정책를 사용하여 2D 및 3D 운동 임무에 적용하며, 랜덤 돌연변이를 사용하여 행동 다양성을 샘플링한다.

실험 결과

연구 질문

• RQ1 확장 가능한 진화 전략를 사용하여 대규모 신경망에서 적응 가능성을 직접이고 효율적으로 최적화할 수 있는가?
• RQ2 성능와 적응 가능성 측면에서 직접 적응 가능성 최적화는 MAML와 같은 기울기 기반 메타학습 방법과 비교해 어떻게 되는가?
• RQ3 다중 모달 인구집단(GMM 등)은 전문화 압력 없이도 전문화된 행동 모드를 진화시킬 수 있는가?
• RQ4 적응 가능성은 노바티비티 기반 또는 목표 지향적 진화 계산에서 성능을 향상시키기 위한 보조 목표로 얼마나 효과적으로 기능할 수 있는가?

주요 결과

• Evolvability ES는 수천 개의 파라미터를 가진 대규모 신경망에서 적응 가능성을 성공적으로 최적화하였으며, 2D 및 3D 운동 임무에서 MAML에 경쟁 가능한 성능을 달성하였다.
• 이 방법은 돌연변이를 통한 새로운 작업에 대한 빠른 적응을 가능하게 하여, 높은 적응 가능성의 정책을 직접이고 효율적으로 진화시킬 수 있음을 보여주었다.
• 다중 모달 변종에서는 전문화 압력 없이도 인구집단 내에서 자발적으로 별개의 행동 모드가 나타났으며, 이는 자율적 전문화로의 조직화를 시사한다.
• 분할 GMM 변종는 사전 훈련된 단일 모달 인구집단에서 출발하여, 행동 커버리지 측면에서 일반 GMM과 유의미한 차이를 보이지 않았다. 이는 적응 가능성 최적화 자체만으로도 유사 종의 행동이 나타날 수 있음을 시사한다.
• 성능 평가에 사용된 동일한 롤아웃을 재사용하여 적응 가능성 기울기 추정치를 계산함으로써, 추가 환경 평가 없이도 보조 최적화를 가능하게 하였다.
• 결과는 진화 계산에서의 적응 가능성과 매개변수 공간 메타학습 간에 깊은 개념적 연결이 있음을 시사하며, Evolvability ES는 MAML와 대체 가능한 비기울기 기반 접근법을 제공한다.