[論文レビュー] Differentiable Quality Diversity

Matthew C. Fontaine, Stefanos Nikolaidis|arXiv (Cornell University)|Jun 7, 2021

Machine Learning and Data Classification参考文献 56被引用数 30

ひとこと要約

論文はDifferentiable Quality Diversity（DQD）を定義し、ObjectiveとMeasureの勾配を利用してStyleGAN潜在空間を含む複数ドメインで卓越した品質-多様性のトレードオフを達成する、勾配ベースのMAP-Elites変種であるMEGAを提示します。

ABSTRACT

Quality diversity (QD) is a growing branch of stochastic optimization research that studies the problem of generating an archive of solutions that maximize a given objective function but are also diverse with respect to a set of specified measure functions. However, even when these functions are differentiable, QD algorithms treat them as "black boxes", ignoring gradient information. We present the differentiable quality diversity (DQD) problem, a special case of QD, where both the objective and measure functions are first order differentiable. We then present MAP-Elites via a Gradient Arborescence (MEGA), a DQD algorithm that leverages gradient information to efficiently explore the joint range of the objective and measure functions. Results in two QD benchmark domains and in searching the latent space of a StyleGAN show that MEGA significantly outperforms state-of-the-art QD algorithms, highlighting DQD's promise for efficient quality diversity optimization when gradient information is available. Source code is available at https://github.com/icaros-usc/dqd.

研究の動機と目的

• Objectiveの正式な定式化：目的関数fと測定関数mが1次微分可能であるDQD問題を定義。
• 勾配ベースのMAP-Elites変種（OMG-MEGAとCMA-MEGA）を開発し、勾配を利用して共用の目的-測定空間を探索。
• 勾配ベースのDQDが複数のベンチマーク領域で探索効率を大幅に改善することを示す。
• CMA-MEGA（Adam）を用いたStyleGAN潜在空間での多様で高品質な画像生成を実証する。

提案手法

• DQDを、微分可能な目的fと微分可能な測定m_iを持つQD問題として定義する。
• 勾配木構造（gradient arborescence）概念を導入し、fの上昇を導く際にm_iで分岐する。
• OMG-MEGA（Objective and Measure Gradient MAP-Elites via Gradient Arborescence）：∇fと∇m_iの勾車分布を線形結合した勾配で解を摂動させる。
• CMA-MEGA（CMA-MAP-Elites via Gradient Arborescence）：QD目的を最大化する係数ベクトルcの分布を学習し、CMA-ESのパラメータを適応させる。
• 基準系OG-MAP-ElitesおよびOG-MAP-Elites（line）を提供し、勾配ベースと勾配非依存の探索を対比。
• 3つのドメイン（Linear Projection、Arm Repertoire、Latent Space Illumination）およびCLIPベースの微分可能な目的/測定を備えたStyleGAN-LSI設定に適用。
• CMA-MEGAのアルゴリズム1を提示し、CMA-MEGAの自然勾配解釈を論じる。

実験結果

リサーチクエスチョン

• RQ1 目的と測定の勾配をMAP-Elites風アーカイブに効果的に組み込んで品質-多様性最適化を改善できるか。
• RQ2 勾配ベースのDQD手法は、ベンチマーク領域と生成潜在空間における導関数なしQDのベースラインと比較してどうか。
• RQ3 勾配ステップ係数を適応的に選択する影響（例：Adamを用いる CMA-MEGA）が、悪条件下や高分散領域での探索性能に与える影響はどの程度か。
• RQ4 differentiableなQDがStyleGANの潜在空間生成モデルをどの程度最適化して、微分可能なプロンプトを満たす多様で高品質な画像を生み出せるか。

主な発見

Algorithm	QD-score	Coverage
MAP-Elites	1.04	1.17%
MAP-Elites	1.18	1.72%
CMA-ME	55.98	56.95%
CMA-ME	18.96	26.18%
OG-MAP-Elites	1.52	1.67%
OG-MAP-Elites	57.17	58.08%
OG-MAP-Elites (line)	59.66	60.28%
OMG-MEGA	71.58	92.09%
CMA-MEGA	75.29	100.00%
CMA-MEGA (Adam)	75.30	100.00%
MAP-Elites (LSI domain)	13.88	23.15%
CMA-MEGA (Adam) (LSI domain)	73.82	30.73%
CMA-MEGA (Adam) (Arm Repertoire)	74.18	74.18%

• 勾配ベースのDQD（OMG-MEGAとCMA-MEGA）は、球面、ラスクリン、Arm Repertoireの領域においてQD-スコアとカバレッジで導関数なしのベースラインを大幅に上回る。
• CMA-MEGA（Adam）は全体的に最良の性能を達成し、特にLatent Space Illumination（LSI）領域で条件付けが適応的勾配係数の恩恵を受ける。
• 勾配情報は目的関数を上昇させつつ測定空間の探索を加速し、よりリッチなアーカイブと高品質な多様解を生み出す。
• StyleGAN-CLIPを用いたLSIでは、CMA-MEGA（Adam）は他の手法を大きく上回る一方、AdamなしのCMA-MEGAは潜在空間条件付けのため低性能。
• OG-MAP-Elites変種は一部の領域で性能が乏しく、勾配ガイド付きステップとアーカイブ機構の組み合わせの利点を示す。
• Table 1はCMA-MEGAとCMA-MEGA（Adam）が高いQDスコアとカバレッジを達成することを示しており、特にLSI領域での例として（例：CMA-MEGA（Adam）：QDスコア 73.82–74.18%、カバレッジ ~30–31% in LSI）。