[論文レビュー] Accelerated Quality-Diversity through Massive Parallelism

Bryan Lim, Maxime Allard+2 more|arXiv (Cornell University)|Feb 2, 2022

Metaheuristic Optimization Algorithms Research被引用数 4

ひとこと要約

本論文では、GPU/TPUにおける大規模並列処理を活用して、QDアルゴリズムの実行時間を日単位から分単位に短縮する、MAP-Elitesの高速化実装であるQDaxを紹介する。性能の低下なしに、大規模バッチ処理とハードウェア最適化シミュレータを用いることで、多様なベンチマークにおいてインタラクティブスケールのパフォーマンスを実現する。

ABSTRACT

Quality-Diversity (QD) optimization algorithms are a well-known approach to generate large collections of diverse and high-quality solutions. However, derived from evolutionary computation, QD algorithms are population-based methods which are known to be data-inefficient and requires large amounts of computational resources. This makes QD algorithms slow when used in applications where solution evaluations are computationally costly. A common approach to speed up QD algorithms is to evaluate solutions in parallel, for instance by using physical simulators in robotics. Yet, this approach is limited to several dozen of parallel evaluations as most physics simulators can only be parallelized more with a greater number of CPUs. With recent advances in simulators that run on accelerators, thousands of evaluations can now be performed in parallel on single GPU/TPU. In this paper, we present QDax, an accelerated implementation of MAP-Elites which leverages massive parallelism on accelerators to make QD algorithms more accessible. We show that QD algorithms are ideal candidates to take advantage of progress in hardware acceleration. We demonstrate that QD algorithms can scale with massive parallelism to be run at interactive timescales without any significant effect on the performance. Results across standard optimization functions and four neuroevolution benchmark environments shows that experiment runtimes are reduced by two factors of magnitudes, turning days of computation into minutes. More surprising, we observe that reducing the number of generations by two orders of magnitude, and thus having significantly shorter lineage does not impact the performance of QD algorithms. These results show that QD can now benefit from hardware acceleration, which contributed significantly to the bloom of deep learning.

研究の動機と目的

• 解の評価が高コストである場合に、数百万回の評価を必要とするQuality-Diversity（QD）アルゴリズムの計算ボトル neck を解消すること。
• 並列処理が数十件まで制限され、通信オーバーヘッドを負うCPUベースのシミュレータの限界を克服すること。
• GPU/TPUなどの現代のハードウェアアクセラレータにスケーリングできるQDアルゴリズムを実現し、インタラクティブなタイムスケールを達成すること。
• 大規模並列処理が、生成数を大幅に削減してもQDパフォーマンスを低下させないことを実証すること。
• 単一のクラウドGPU/TPUで高速実行が可能になることで、発展途上経済地域の研究者を含む広範な研究コミュニティへのQDアルゴリズムのアクセス性を向上させること。

提案手法

• GPU/TPUに最適化されたMAP-Elitesの変種としてQDaxを実装し、数千のインスタンスにわたる解の評価を大規模バッチ評価で並列化する。
• Brax や IsaacGym などの現代の物理シミュレータと統合し、GPU実行をネイティブにサポートし、数千件の並列シミュレーションを可能にする。
• JAX や PyTorch などの高性能プログラミングフレームワークを活用して、大規模なテンソル演算とデバイスメモリを効率的に管理する。
• 行動空間全体にわたり多様で高品質な解を格納する固定アーカイブ構造を採用し、行動記述子が探索をガイドする。
• 解の品質を損なわずに、生成数を著しく削減できる大規模バッチサイズ（1生成あたり数千件の評価）を適用する。
• デバイスメモリ制約内で大規模なアーカイブと複雑なポリシーを扱えるようメモリ使用量を最適化するが、これは依然としてスケーリングの限界である。

実験結果

リサーチクエスチョン

• RQ1 QDアルゴリズムは、GPU/TPUにおける大規模並列処理の恩恵を受けることで、パフォーマンスの低下なしにインタラクティブスケールの実行時間を達成できるか？
• RQ2 大規模バッチサイズを用いることで生成数を2桁削減した場合、QDアルゴリズムの最終的パフォーマンスにどのような影響が生じるか？
• RQ3 現代のGPUアクセラレートシミュレータは、QDワークフローの高速化において、従来のCPUベースのシミュレータにどの程度置き換え可能か？
• RQ4 大規模並列処理の使用が、QDアルゴリズムが発見する解の多様性や品質を損なうか？
• RQ5 QDaxは、大規模CPUクラスターやハイパフォーマンスコンputィングインfraにアクセスできない研究者にとって、QDアルゴリズムをよりアクセス可能にするか？

主な発見

• QDaxは、1台のGPU/TPUでQDアルゴリズムの実行時間を2桁短縮し、日単位から分単位に削減した。
• 生成数を100倍削減しても、QDaxの最終的パフォーマンスはベースラインQDアルゴリズムと同等であり、線形長の短縮に対しても耐性があることが示された。
• アクセラレータ上で大規模バッチサイズを用いることで、数千件の並列評価が可能になり、QDアルゴリズムがインタラクティブな探索やリアルタイムフィードバックに適したものとなった。
• QDaxは、標準的な最適化関数および4つのニューロエボリューションベンチマーク環境（複雑な強化学習タスクを含む）において、解の多様性と品質を維持した。
• ハードウェアアクセラレーションによってQDaxのパフォーマンスが低下せず、大規模並列処理を活用しても解の品質に妥協がないことが実証された。
• 短いトレーニング時間のおかげで、QDaxの環境的影響が低減された。排出量の推定はMachine Learning Impact calculatorを用いて行われ、炭素アカウンタビリティを支援した。