[논문 리뷰] Accelerated Quality-Diversity through Massive Parallelism

Bryan Lim, Maxime Allard외 2명|arXiv (Cornell University)|2022. 02. 02.

Metaheuristic Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 QDax를 소개하며, GPU/TPU에서의 막대한 병렬 처리를 활용해 QD 알고리즘의 실행 시간을 일수에서 분 단위로 단축하면서도 성능 손실 없이 MAP-Elites의 가속 구현을 제공한다. 큰 배치 크기와 하드웨어 최적화된 시뮬레이터를 사용함으로써 QDax는 다양한 벤치마크에서 솔루션 품질을 유지하면서도 인터랙티브 수준의 성능을 달성한다.

ABSTRACT

Quality-Diversity (QD) optimization algorithms are a well-known approach to generate large collections of diverse and high-quality solutions. However, derived from evolutionary computation, QD algorithms are population-based methods which are known to be data-inefficient and requires large amounts of computational resources. This makes QD algorithms slow when used in applications where solution evaluations are computationally costly. A common approach to speed up QD algorithms is to evaluate solutions in parallel, for instance by using physical simulators in robotics. Yet, this approach is limited to several dozen of parallel evaluations as most physics simulators can only be parallelized more with a greater number of CPUs. With recent advances in simulators that run on accelerators, thousands of evaluations can now be performed in parallel on single GPU/TPU. In this paper, we present QDax, an accelerated implementation of MAP-Elites which leverages massive parallelism on accelerators to make QD algorithms more accessible. We show that QD algorithms are ideal candidates to take advantage of progress in hardware acceleration. We demonstrate that QD algorithms can scale with massive parallelism to be run at interactive timescales without any significant effect on the performance. Results across standard optimization functions and four neuroevolution benchmark environments shows that experiment runtimes are reduced by two factors of magnitudes, turning days of computation into minutes. More surprising, we observe that reducing the number of generations by two orders of magnitude, and thus having significantly shorter lineage does not impact the performance of QD algorithms. These results show that QD can now benefit from hardware acceleration, which contributed significantly to the bloom of deep learning.

연구 동기 및 목표

• 해당 솔루션 평가가 비용이 많이 들기 때문에 수백만 번의 평가가 필요하고, 이로 인해 느린 품질-다양성(QD) 알고리즘의 계산적 병목 현상을 해결한다.
• 병렬 처리가 수십 개의 평가로 제한되고 통신 오버헤드가 발생하는 CPU 기반 시뮬레이터의 한계를 극복한다.
• 현대 하드웨어 가속기(GPU/TPU)와 함께 QD 알고리즘의 확장성을 높여 인터랙티브 스케일의 실행 시간을 달성한다.
• 매우 큰 배치 크기를 사용함으로써 세대 수를 크게 줄여도 QD 성능이 떨어지지 않음을 입증한다.
• 단일 클라우드 GPU/TPU에서 빠른 실행이 가능하게 함으로써, 고성능 컴퓨팅 인프라나 대규모 CPU 클러스터에 접근할 수 없는 연구자들, 특히 신남방 국가의 연구자들에게 QD 알고리즘의 접근성을 높인다.

제안 방법

• QDax를 GPU/TPU 최적화된 MAP-Elites 변형으로 구현하여 수천 개의 인스턴스에 걸쳐 솔루션 평가를 병렬화하는 막대한 배치 평가를 사용한다.
• GPU 실행을 네이티브로 지원하는 현대적인 물리 시뮬레이터인 Brax와 IsaacGym을 통합하여 수천 개의 병행 시뮬레이션을 가능하게 한다.
• JAX, PyTorch와 같은 고성능 프로그래밍 프레임워크를 활용해 대규모 텐서 연산과 장치 메모리 관리를 효율적으로 관리한다.
• 행동 공간 전역에 걸쳐 다양한 고품질 솔루션을 저장하기 위해 고정된 아카이브 구조를 사용하며, 행동 기술이 탐색을 이끈다.
• 매 세대 수천 개의 평가를 포함하는 큰 배치 크기를 적용하여 솔루션 품질을 훼손하지 않으면서도 세대 수를 크게 줄인다.
• 장치 메모리 제약 조건 내에서 큰 아카이브와 복잡한 정책을 처리하기 위해 메모리 사용을 최적화하지만, 이는 여전히 확장성의 한계로 남아 있다.

실험 결과

연구 질문

• RQ1 가속기(GPU/TPU)에서의 막대한 병렬 처리가 QD 알고리즘의 인터랙티브 스케일 실행 시간을 달성하면서도 성능 저하 없이 유의미한 이점을 제공할 수 있는가?
• RQ2 매우 큰 배치 크기를 사용할 경우 세대 수를 100배 줄였을 때 QD 알고리즘의 최종 성능에 어떤 영향을 미치는가?
• RQ3 현대적인 GPU 가속 시뮬레이터가 기존 CPU 기반 시뮬레이터를 얼마나 효과적으로 대체할 수 있는가?
• RQ4 막대한 병렬 처리가 QD 알고리즘이 찾는 솔루션의 다양성이나 품질을 악화시키는가?
• RQ5 QDax는 대규모 CPU 클러스터나 고성능 컴퓨팅 인프라에 접근할 수 없는 연구자들에게 QD 알고리즘의 접근성을 높일 수 있는가?

주요 결과

• QDax는 단일 GPU/TPU에서 QD 알고리즘의 실행 시간을 두 배수 감소시켜 일수에서 분 단위로 단축시켰다.
• 세대 수를 100배 줄였음에도 불구하고 QDax의 최종 성능는 기준 QD 알고리즘과 유사하여, 라인저프 길이 감소에 대해 강건함을 입증했다.
• 가속기에서 큰 배치 크기를 사용함으로써 수천 개의 병행 평가가 가능해져 QD 알고리즘을 인터랙티브 탐색과 실시간 피드백에 활용할 수 있게 되었다.
• QDax는 표준 최적화 함수와 네 가지 신경진화 벤치마크 환경(복잡한 강화학습 작업 포함) 전반에서 솔루션의 다양성과 품질을 유지했다.
• 하드웨어 가속화로 인한 성능 저하가 없었으며, 솔루션 품질에 할증 없이 막대한 병렬 처리를 효과적으로 활용할 수 있음을 입증했다.
• 짧은 학습 시간 덕분에 QDax의 환경 영향이 감소했다. 추정된 배출량은 머신러닝 영향 계산기(Machine Learning Impact calculator)를 사용해 산정되었으며, 탄소 책임을 뒷받침한다.