[論文レビュー] Using Centroidal Voronoi Tessellations to Scale Up the Multi-dimensional Archive of Phenotypic Elites Algorithm

Vassilis Vassiliades, Konstantinos Chatzilygeroudis+1 more|arXiv (Cornell University)|Oct 18, 2016

Evolutionary Algorithms and Applications参考文献 27被引用数 7

ひとこと要約

本稿では、高次元の行動空間を固定数の均等に分布した領域に分割するための重心型ボロノイタイル化（CVT）を用いた、MAP-Elitesアルゴリズムのスケーラブルな拡張であるCVT-MAP-Elitesを提案する。これにより、多様で高パフォーマンスな解の効率的探索とアーカイブが可能となり、迷路走破や六脚歩行ロボットのタスクなど、高次元のタスクにおいても性能を維持する。標準のMAP-Elitesに比べてスケーラビリティに優れつつ、解の品質を保持する。

ABSTRACT

The recently introduced Multi-dimensional Archive of Phenotypic Elites (MAP-Elites) is an evolutionary algorithm capable of producing a large archive of diverse, high-performing solutions in a single run. It works by discretizing a continuous feature space into unique regions according to the desired discretization per dimension. While simple, this algorithm has a main drawback: it cannot scale to high-dimensional feature spaces since the number of regions increase exponentially with the number of dimensions. In this paper, we address this limitation by introducing a simple extension of MAP-Elites that has a constant, pre-defined number of regions irrespective of the dimensionality of the feature space. Our main insight is that methods from computational geometry could partition a high-dimensional space into well-spread geometric regions. In particular, our algorithm uses a centroidal Voronoi tessellation (CVT) to divide the feature space into a desired number of regions; it then places every generated individual in its closest region, replacing a less fit one if the region is already occupied. We demonstrate the effectiveness of the new "CVT-MAP-Elites" algorithm in high-dimensional feature spaces through comparisons against MAP-Elites in maze navigation and hexapod locomotion tasks.

研究の動機と目的

• 高次元の行動空間にスケーリングする際、標準のMAP-Elitesが直面するニッチの指数的増加を解決すること。
• 高次元の特徴空間において、多様で高パフォーマンスな解の有効な探索とアーカイブを可能にすること。
• 次元に依存せず常に一定数のニッチを維持する手法を開発し、スケーラビリティを向上させること。
• 迷路走破や六脚歩行ロボットなど、実世界のロボティクスタスクにおいて、提案されたCVT-MAP-Elitesアルゴリズムの性能を評価すること。

提案手法

• アルゴリズムは、次元に依存せず、均等に分布し、良好な形状を持つk個の領域に行動空間を分割するために、重心型ボロノイタイル化（CVT）を用いる。
• 生成された個体は、行動空間における距離計測基準に基づき、最も近いCVT領域に割り当てられる。
• 領域がすでに占有されている場合、新しい個体のフィットネスが現在の最良個体を上回る場合にのみ、置き換えられる。
• CVTは、行動空間の点を多数サンプリングし、反復的なk-meansクラスタリングを用いて計算され、領域の空間的均等分布を保証する。
• 本手法は任意の次元の行動空間をサポートし、計算コストを制御するため、ニッチ数kを事前に定義する。
• 距離計測基準として、ユークリッド距離と分数ノルムの両方を用いて、計測基準の選択に対するロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 CVTに基づく領域分割は、高次元の行動空間におけるスケーラブルな品質多様性最適化を可能にするか？
• RQ2 CVT-MAP-Elitesは、標準のMAP-Elitesと比較して、高次元タスクにおける解の多様性とパフォーマンスで優れているか？
• RQ3 距離計測基準（ユークリッド距離対分数ノルム）の選択が、CVT-MAP-Elitesのパフォーマンスに顕著な影響を与えるか？
• RQ4 進化的ロボティクスタスクにおいて、探索、強化、一般化のバランスを取るために最適なニッチ数（k）は何か？
• RQ5 故障したロボットの歩行シナリオなどの分布シフト下でも、CVT-MAP-Elitesは良好な性能を示すか？

主な発見

• 標準のMAP-Elitesに比べ、CVT-MAP-Elitesは顕著に優れたスケーラビリティを達成し、標準のMAP-Elitesが指数的ニッチ爆発により失敗する高次元の行動空間（例：250次元）でも性能を維持する。
• 迷路走破タスクでは、20Dおよび250Dの記述子とk=50を用いた場合、ゴールまでの距離が100未満の良好な解の割合が高くなり、カバレッジと多様性の向上が示された。
• 六脚歩行ロボットのタスクでは、k=10000が故障状態で最良のパフォーマンスを示したが、k=100000では顕著なパフォーマンス低下が観察されたことから、最適なkの範囲が存在することが示された。
• ユークリッド距離と分数ノルムの距離計測基準の間で、パフォーマンスに顕著な差は認められず、計測基準の選択に対するロバストネスが示された。
• 進化的な性能（故障なしロボット）では、kが小さい値（例：k=10）が好ましかったが、故障状態の一般化性能では、k∈{10,100,1000,10000}の間で有意な差は認められなかった。
• 分数ノルムは故障なし状態でわずかにパフォーマンスを向上させたが、故障状態では有意な差は認められず、一般化性能に対する計測基準の選択の影響は限定的であることが示された。