[논문 리뷰] EvoTorch: Scalable Evolutionary Computation in Python

Nihat Engin Toklu, Timothy Atkinson외 3명|arXiv (Cornell University)|2023. 02. 24.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

EvoTorch는 PyTorch 기반의 진화 계산 라이브러리로, 유연한 하드웨어 가속과 분산 병렬 처리를 통합하여 고차원 문제에 대해 확장성 있고 GPU 가속된 최적화를 가능하게 한다. 연속형 및 이산형 최적화를 모두 지원하며, 가변 길이 리스트나 유전적 프로그래밍과 같은 복잡한 구조도 포함한다. 인구 수가 최대 100,000에 이르는 상황에서도 GPU에서 거의 일정한 월클록 시간을 기록하며, CPU 기반 방법보다 10배 이상 빠른 성능을 보인다.

ABSTRACT

Evolutionary computation is an important component within various fields such as artificial intelligence research, reinforcement learning, robotics, industrial automation and/or optimization, engineering design, etc. Considering the increasing computational demands and the dimensionalities of modern optimization problems, the requirement for scalable, re-usable, and practical evolutionary algorithm implementations has been growing. To address this requirement, we present EvoTorch: an evolutionary computation library designed to work with high-dimensional optimization problems, with GPU support and with high parallelization capabilities. EvoTorch is based on and seamlessly works with the PyTorch library, and therefore, allows the users to define their optimization problems using a well-known API.

연구 동기 및 목표

• 현대 인공지능 및 최적화 작업에서 점점 더 커지는 확장성, 재사용성, 고성능 진화 계산의 필요성을 해결하기 위해.
• PyTorch에 직접적으로 기반을 두어 수동 텐서 전송을 피하고, 진화 알고리즘에 대한 효율적인 GPU 가속을 가능하게 하기 위해.
• 표준 연속형 벡터를 넘어서서 리스트, 스택, 사전과 같은 이산형 및 구조화된 표현 방식을 포함한 다양한 최적화 문제를 지원하기 위해.
• Ray를 통한 분산 컴퓨팅과의 원활한 통합을 통해 다중 노드 클러스터에서 대규모 실험을 가능하게 하기 위해.
• 최신 알고리즘인 PGPE와 XNES를 활용한 뉴로진화 및 블랙박스 최적화를 촉진하기 위해.

제안 방법

• EvoTorch는 하드웨어 가속 연산을 위해 솔루션을 PyTorch 텐서로 표현하여 GPU에서 벡터화된 피트니스 평가를 가능하게 한다.
• 가변 길이 시퀀스를 배치 기반으로 GPU 병렬 처리 가능한 방식으로 다룰 수 있도록 CList, CStack, CQueue와 같은 맞춤형, 미분 가능한 데이터 구조를 도입한다.
• GPU 기반(여러 GPU 간), CPU 기반(여러 코어 간), 그리고 Ray를 사용한 클러스터 기반의 다중 병렬화 모드를 지원한다.
• 피트니스 함수는 표준 PyTorch 연산을 사용해 정의할 수 있으며, 가능한 한 자동 미분 기능을 지원한다.
• PyTorch Geometric, Detectron2 등의 기존 ML 파이프라인과 즉각 호환 가능한 PyTorch 기반 생태계와의 통합을 지원한다.
• PGPE와 XNES와 같은 진화 알고리즘은 GPU 실행을 위해 천연적으로 구현되고 최적화되어 있다.

실험 결과

연구 질문

• RQ1 PyTorch 생태계 내에서 GPU 가속을 통해 진화 계산을 효율적으로 확장할 수 있는가?
• RQ2 유전적 프로그래밍과 같은 이산형 최적화 문제에서, GPU 기반 병렬 처리가 대규모 인구 수에 대해 월클록 시간에 어떤 영향을 미치는가?
• RQ3 PyTorch 기반 데이터 구조는 알고리즘적 또는 순차적 피트니스 함수의 벡터화되고 하드웨어 가속된 평가를 어느 정도 가능하게 하는가?
• RQ4 PyTorch 네이티브 진화 계산 라이브러리가 고차원 문제에 대해 기존 CPU 기반 라이브러리보다 확장성과 성능 면에서 뛰어나게 구현될 수 있는가?
• RQ5 Ray 통합을 통해 다중 노드 클러스터에서 분산 진화 계산을 어떻게 구현할 수 있으며, PyTorch와의 호환성을 유지할 수 있는가?

주요 결과

• 단일 GPU에서 인구 수가 30,000에 이르는 범위까지도 피트니스 평가에 대해 거의 일정한 월클록 시간을 기록하여 강력한 확장성을 입증했다.
• 인구 수가 100,000에 이르는 경우, 40코어 CPU에서의 CPU 기반 구현 대비 GPU 기반 구현이 10배 이상 빠른 시간을 소요했다.
• CList 및 기타 벡터화된 구조의 사용으로 가변 길이 리스트의 반복문 없는 배치 기반 조작이 효율적으로 가능해져 코드의 명확성과 성능이 향상되었다.
• 피트니스 평가가 프로그램의 순차적이고 알고리즘적인 해석을 포함하는 복잡한 이산 문제, 예를 들어 유전적 프로그래밍과 같은 문제를 성공적으로 지원했다.
• 피트니스 평가 및 진화 알고리즘 연산 모두에 대해 GPU 기반 엣지 투 엔드 가속을 가능하게 하여, CPU 전용 또는 수동 전송 방식과는 대비된다.
• Ray 통합을 통해 여러 머신으로의 원활한 확장이 가능해져 대규모 분산 진화 실험을 지원한다.