[논문 리뷰] Differentiable Quality Diversity

Matthew C. Fontaine, Stefanos Nikolaidis|arXiv (Cornell University)|2021. 06. 07.

Machine Learning and Data Classification참고 문헌 56인용 수 30

한 줄 요약

논문은 Differentiable Quality Diversity(DQD)를 정의하고 MEGA를 제시하며, objective 및 measure 그래디언트를 활용해 StyleGAN 잠재 공간을 포함한 여러 도메인에서 우수한 품질-다양성 절충안을 달성하는 gradient 기반 MAP-Elites 변형을 제시합니다.

ABSTRACT

Quality diversity (QD) is a growing branch of stochastic optimization research that studies the problem of generating an archive of solutions that maximize a given objective function but are also diverse with respect to a set of specified measure functions. However, even when these functions are differentiable, QD algorithms treat them as "black boxes", ignoring gradient information. We present the differentiable quality diversity (DQD) problem, a special case of QD, where both the objective and measure functions are first order differentiable. We then present MAP-Elites via a Gradient Arborescence (MEGA), a DQD algorithm that leverages gradient information to efficiently explore the joint range of the objective and measure functions. Results in two QD benchmark domains and in searching the latent space of a StyleGAN show that MEGA significantly outperforms state-of-the-art QD algorithms, highlighting DQD's promise for efficient quality diversity optimization when gradient information is available. Source code is available at https://github.com/icaros-usc/dqd.

연구 동기 및 목표

• Objective 및 측정 함수가 1차 미분 가능한 상태에서 Differentiable Quality Diversity(DQD) 문제를 형식화한다.
• 그라디언트 기반 MAP-Elites 변형(OMG-MEGA 및 CMA-MEGA)을 개발하여 그래디언트를 활용해 공동 목표-측정 공간을 탐색한다.
• 여러 벤치마크 도메인에서 그래디언트 기반 DQD가 탐색 효율을 크게 개선함을 보인다.
• CMA-MEGA(Adam)를 사용한 StyleGAN 잠재 공간에서 다양하고 고품질 이미지를 성공적으로 생성함을 보여준다.

제안 방법

• DQD를 1차 미분 가능한 목적 함수 f와 1차 미분 가능한 측정들 m_i를 가진 QD 문제로 정의한다.
• f를 향상시키는 방향으로 가파르게 상승하는 방법을 제시하는 그래디언트-아르고스트리(gradient arborescence) 개념을 도입하고 m_i에서 분기한다.
• OMG-MEGA(Objective and Measure Gradient MAP-Elites via Gradient Arborescence)는 ∇f와 ∇m_i의 선형 결합과 그래디언트 perturbation를 사용해 해를扰乱한다.
• CMA-MEGA(CMA-MAP-Elites via Gradient Arborescence)은 계수 벡터 c의 분포를 학습해 QD 목적을 극대화하고 CMA-ES 파라미터를 적응한다.
• Gradient 기반 탐색과 그라디언트-없는 탐색을 대조하기 위해 OG-MAP-Elites 및 OG-MAP-Elites(line) 베이스라인을 제시한다.
• 세 가지 도메인(Linear Projection, Arm Repertoire, Latent Space Illumination)과 CLIP 기반 differentiable objective/measures를 갖는 StyleGAN-LSI 설정에 적용한다.
• CMA-MEGA의 알고리즘 1을 제시하고 CMA-MEGA에 대한 자연-그래디언트 해석을 논의한다.

실험 결과

연구 질문

• RQ1 목적 및 측정의 그래디언트를 MAP-Elites 스타일의 아카이브에 효과적으로 통합하여 품질-다양성 최적화를 개선할 수 있는가?
• RQ2 그래디언트 기반 DQD 방법이 벤치마크 도메인과 생성적 잠재 공간에서 유도식이 없는 QD 베이스라인과 비교하여 어떤 성능 차이를 보이는가?
• RQ3 적응적으로 그래디언트 스텝 계수(예: Adam을 사용하는 CMA-MEGA)를 선택하는 것이 탐색 성능에 어떤 영향을 미치며, 특히 ill-conditioned 또는 고분산 도메인에서 어떤 차이가 있는가?
• RQ4 differentiable QD가 StyleGAN처럼 잠재 공간 생된 모델을 최적화해 차별화된 품질 좋은 이미지를 생성하는 데 얼마나 기여하는가?

주요 결과

알고리즘	QD-점수	커버리지
MAP-Elites	1.04	1.17%
MAP-Elites	1.18	1.72%
CMA-ME	55.98	56.95%
CMA-ME	18.96	26.18%
OG-MAP-Elites	1.52	1.67%
OG-MAP-Elites	57.17	58.08%
OG-MAP-Elites (line)	59.66	60.28%
OMG-MEGA	71.58	92.09%
CMA-MEGA	75.29	100.00%
CMA-MEGA (Adam)	75.30	100.00%
MAP-Elites (LSI domain)	13.88	23.15%
CMA-MEGA (Adam) (LSI domain)	73.82	30.73%
CMA-MEGA (Adam) (Arm Repertoire)	74.18	74.18%

• 그래디언트 기반 DQD(OMG-MEGA 및 CMA-MEGA)가 QD-점수 및 커버리지에서 유도식 베 Baselines를 크게 능가하며 구면(Sphere), Rastringin, Arm Repertoire 도메인에서 우수한 성능을 보인다.
• CMA-MEGA(Adam)가 전반적으로 최상의 성능을 달성하며, 특히 Latent Space Illumination(LSI) 도메인에서 적응형 그래디언트 계수의 이점을 활용한다.
• 그래디언트 정보가 목적 함수를 상승시키는 동안 측정 공간의 탐색을 가속화하여 더 풍부한 아카이브와 더 높은 품질의 다양한 솔루션을 이끈다.
• StyleGAN-CLIP를 이용한 LSI에서 CMA-MEGA(Adam)가 다른 방법들보다 크게 우수하나 CMA-MEGA(Adam) 없이 CMA-MEGA는 잠재 공간 조건화로 인해 성능이 떨어진다.
• OG-MAP-Elites 변형은 일부 도메인에서 성능이 저조하여 그래디언트-guided 스텝과 아카이브링 메커니즘의 결합이 유리하다는 점을 부각시킨다.
• 표 1은 CMA-MEGA 및 CMA-MEGA(Adam)가 높은 QD-점수와 커버리지를 달성하는 모습을 보여주며, 특히 LSI 도메인에서 CMA-MEGA(Adam) 예: QD-점수 73.82–74.18%, 커버리지 ~30–31%를 기록한다.