[论文解读] Accelerated Quality-Diversity through Massive Parallelism

Bryan Lim, Maxime Allard+2 more|arXiv (Cornell University)|Feb 2, 2022

Metaheuristic Optimization Algorithms Research被引用 4

一句话总结

本文提出了 QDax，一种基于 GPU/TPU 的大规模并行化加速实现的 MAP-Elites 算法，将 QD 算法的运行时间从数天缩短至数分钟，且性能无损失。通过使用大批次和硬件优化的模拟器，QDax 在保持解决方案质量的同时，实现了接近交互式规模的性能表现，适用于多种基准测试。

ABSTRACT

Quality-Diversity (QD) optimization algorithms are a well-known approach to generate large collections of diverse and high-quality solutions. However, derived from evolutionary computation, QD algorithms are population-based methods which are known to be data-inefficient and requires large amounts of computational resources. This makes QD algorithms slow when used in applications where solution evaluations are computationally costly. A common approach to speed up QD algorithms is to evaluate solutions in parallel, for instance by using physical simulators in robotics. Yet, this approach is limited to several dozen of parallel evaluations as most physics simulators can only be parallelized more with a greater number of CPUs. With recent advances in simulators that run on accelerators, thousands of evaluations can now be performed in parallel on single GPU/TPU. In this paper, we present QDax, an accelerated implementation of MAP-Elites which leverages massive parallelism on accelerators to make QD algorithms more accessible. We show that QD algorithms are ideal candidates to take advantage of progress in hardware acceleration. We demonstrate that QD algorithms can scale with massive parallelism to be run at interactive timescales without any significant effect on the performance. Results across standard optimization functions and four neuroevolution benchmark environments shows that experiment runtimes are reduced by two factors of magnitudes, turning days of computation into minutes. More surprising, we observe that reducing the number of generations by two orders of magnitude, and thus having significantly shorter lineage does not impact the performance of QD algorithms. These results show that QD can now benefit from hardware acceleration, which contributed significantly to the bloom of deep learning.

研究动机与目标

• 解决质量-多样性（QD）算法的计算瓶颈问题，这些算法需要数百万次评估，且当评估成本较高时运行缓慢。
• 克服基于 CPU 的模拟器在并行化方面仅限于数十次评估的局限性，并减少通信开销。
• 使 QD 算法能够与现代硬件加速器（GPU/TPU）协同扩展，实现交互式时间尺度的运行。
• 证明大规模并行化不会降低 QD 算法的性能，即使生成代数大幅减少。
• 通过在单个云 GPU/TPU 上实现快速执行，提升 QD 算法在更广泛研究群体（包括新兴经济体的研究者）中的可及性。

提出的方法

• 将 QDax 实现为 MAP-Elites 的 GPU/TPU 优化变体，通过大规模批量评估，在数千个实例上并行化解决方案评估。
• 与现代物理模拟器（如 Brax 和 IsaacGym）集成，这些模拟器原生支持 GPU 执行，可实现数千个并行模拟。
• 利用高性能编程框架（如 JAX、PyTorch）高效管理大规模张量运算和设备内存。
• 使用固定归档结构在行为空间中存储多样化且高质量的解决方案，行为描述符用于引导搜索过程。
• 应用大批次（每代数千次评估），显著减少所需代数，同时不牺牲解决方案质量。
• 优化内存使用以在设备内存限制内处理大型归档和复杂策略，尽管这仍是扩展性的一个限制。

实验结果

研究问题

• RQ1 QD 算法是否能从 GPU/TPU 加速器上的大规模并行化中获益，实现在无性能下降情况下的交互式运行时间？
• RQ2 当使用大批次时，将代数减少两个数量级，对 QD 算法最终性能的影响如何？
• RQ3 现代 GPU 加速模拟器在多大程度上可以替代传统 CPU 基础模拟器，以加速 QD 工作流？
• RQ4 大规模并行化是否会损害 QD 算法所发现解决方案的多样性或质量？
• RQ5 QDax 是否能显著提升 QD 算法对无法访问大型 CPU 集群或高性能计算基础设施的研究者的可及性？

主要发现

• QDax 将 QD 算法的运行时间缩短两个数量级，在单个 GPU/TPU 上将计算时间从数天减少至数分钟。
• 尽管代数减少 100 倍，QDax 的最终性能仍与基线 QD 算法相当，表明其对代数长度减少具有鲁棒性。
• 在加速器上使用大批次可实现数千次并行评估，使 QD 算法适用于交互式探索和实时反馈。
• QDax 在标准优化函数和四个神经进化基准环境（包括复杂的强化学习任务）中均保持了解决方案的多样性和质量。
• QDax 的性能未因硬件加速而下降，证明大规模并行化可在不牺牲解决方案质量的前提下被有效利用。
• 由于训练时间显著缩短，QDax 的环境影响降低——估算的碳排放量使用了 Machine Learning Impact 计算器，支持碳排放问责。