[论文解读] Differentiable Quality Diversity

Matthew C. Fontaine, Stefanos Nikolaidis|arXiv (Cornell University)|Jun 7, 2021

Machine Learning and Data Classification参考文献 56被引用 30

一句话总结

该论文定义了 Differentiable Quality Diversity (DQD)，并提出 MEGA——基于梯度的 MAP-Elites 变体，利用目标和度量的梯度，在包括 StyleGAN 潜在空间在内的多个领域实现更优的质量-多样性权衡。

ABSTRACT

Quality diversity (QD) is a growing branch of stochastic optimization research that studies the problem of generating an archive of solutions that maximize a given objective function but are also diverse with respect to a set of specified measure functions. However, even when these functions are differentiable, QD algorithms treat them as "black boxes", ignoring gradient information. We present the differentiable quality diversity (DQD) problem, a special case of QD, where both the objective and measure functions are first order differentiable. We then present MAP-Elites via a Gradient Arborescence (MEGA), a DQD algorithm that leverages gradient information to efficiently explore the joint range of the objective and measure functions. Results in two QD benchmark domains and in searching the latent space of a StyleGAN show that MEGA significantly outperforms state-of-the-art QD algorithms, highlighting DQD's promise for efficient quality diversity optimization when gradient information is available. Source code is available at https://github.com/icaros-usc/dqd.

研究动机与目标

• 形式化可微分的质量多样性（DQD）问题，其中目标函数和度量函数是一阶可微的。
• 开发基于梯度的 MAP-Elites 变体（OMG-MEGA 与 CMA-MEGA），利用梯度在联合目标-度量空间中进行探索。
• 证明基于梯度的 DQD 能显著提高在多个基准领域的搜索效率。
• 在 StyleGAN 潜在空间通过 CMA-MEGA（Adam）实现成功的多样化、高质量图像生成（StyleGAN-LSI）。

提出的方法

• 将 DQD 定义为目标函数 f 和可微分度量 m_i 的 QD 问题。
• 引入梯度树杈（gradient arborescence）概念，用于在上升 f 的同时在 m_i 上分支。
• 提出 OMG-MEGA（Object ive and Measure Gradient MAP-Elites via Gradient Arborescence），利用 ∇f 与 ∇m_i 的梯度线性组合对解进行扰动。
• 提出 CMA-MEGA（CMA-MAP-Elites via Gradient Arborescence），学习系数向量 c 的分布以最大化 QD 目标，并自适应 CMA-ES 参数。
• 提供基线 OG-MAP-Elites 和 OG-MAP-Elites（line），对比基于梯度的探索与梯度无关的探索。
• 应用于三个领域（Linear Projection、Arm Repertoire、Latent Space Illumination）以及带有基于 CLIP 的可微分目标/度量的 StyleGAN-LSI 设置。
• 给出算法 1 详细描述 CMA-MEGA，并讨论 CMA-MEGA 的自然梯度解释。

实验结果

研究问题

• RQ1 是否能够将目标和度量的梯度有效整合到 MAP-Elites 风格的档案中，以改进质量-多样性优化？
• RQ2 在基准领域和生成潜在空间中，基于梯度的 DQD 方法与导数自由的 QD 基线相比如何？
• RQ3 在自适应选择梯度步长系数（如 CMA-MEGA with Adam）时，对搜索性能有何影响，尤其在条件数差或方差较高的领域？
• RQ4 可微分 QD 在多大程度上能够优化潜在空间生成模型（StyleGAN）以产生符合可微分提示的多样且高质量的图像？

主要发现

Algorithm	QD-score	Coverage
MAP-Elites	1.04	1.17%
MAP-Elites	1.18	1.72%
CMA-ME	55.98	56.95%
CMA-ME	18.96	26.18%
OG-MAP-Elites	1.52	1.67%
OG-MAP-Elites	57.17	58.08%
OG-MAP-Elites (line)	59.66	60.28%
OMG-MEGA	71.58	92.09%
CMA-MEGA	75.29	100.00%
CMA-MEGA (Adam)	75.30	100.00%
MAP-Elites (LSI domain)	13.88	23.15%
CMA-MEGA (Adam) (LSI domain)	73.82	30.73%
CMA-MEGA (Adam) (Arm Repertoire)	74.18	74.18%

• 基于梯度的 DQD（OMG-MEGA 与 CMA-MEGA）在 QD-分数和覆盖率方面显著优于 derivative-free 基线，在球面、Rastrigin 和 Arm Repertoire 域中表现突出。
• CMA-MEGA（Adam）总体上达到最佳性能，尤其是在 Latent Space Illumination (LSI) 域中，条件受益于自适应梯度系数。
• 梯度信息加速对度量空间的探索，同时在上升目标时获得更丰富的档案和更高质量的多样解。
• 在带 StyleGAN-CLIP 的 LSI 中，CMA-MEGA（Adam）显著优于其他方法，尽管若不使用 Adam 的 CMA-MEGA 在潜在空间条件方面表现较差。
• OG-MAP-Elites 变体在某些域中表现较差，凸显了将梯度引导的步骤与归档机制结合的优势。
• 表 1 显示 CMA-MEGA 与 CMA-MEGA (Adam) 在实现高 QD-分数和覆盖率方面的表现，特别是在 LSI 域（例如 CMA-MEGA (Adam): QD-score 73.82–74.18%，覆盖率 ~30–31% 在 LSI）。