[論文レビュー] Illuminating search spaces by mapping elites

Jean-Baptiste Mouret, Jeff Clune|arXiv (Cornell University)|Apr 20, 2015

Reinforcement Learning in Robotics参考文献 59被引用数 406

ひとこと要約

この論文は、ユーザーが定義した特徴空間にわたる高性能な解をマップする、MAP-Elitesと呼ばれる新しい進化的アルゴリズムを紹介している。性能と設計的特徴の間のトレードオフを明らかにし、エリート解を体系的に探索・アーカイブすることで、単一の最良解を探索する伝統的な最適化手法を上回るグローバル性能を達成する。

ABSTRACT

Many fields use search algorithms, which automatically explore a search space to find high-performing solutions: chemists search through the space of molecules to discover new drugs; engineers search for stronger, cheaper, safer designs, scientists search for models that best explain data, etc. The goal of search algorithms has traditionally been to return the single highest-performing solution in a search space. Here we describe a new, fundamentally different type of algorithm that is more useful because it provides a holistic view of how high-performing solutions are distributed throughout a search space. It creates a map of high-performing solutions at each point in a space defined by dimensions of variation that a user gets to choose. This Multi-dimensional Archive of Phenotypic Elites (MAP-Elites) algorithm illuminates search spaces, allowing researchers to understand how interesting attributes of solutions combine to affect performance, either positively or, equally of interest, negatively. For example, a drug company may wish to understand how performance changes as the size of molecules and their cost-to-produce vary. MAP-Elites produces a large diversity of high-performing, yet qualitatively different solutions, which can be more helpful than a single, high-performing solution. Interestingly, because MAP-Elites explores more of the search space, it also tends to find a better overall solution than state-of-the-art search algorithms. We demonstrate the benefits of this new algorithm in three different problem domains ranging from producing modular neural networks to designing simulated and real soft robots. Because MAP- Elites (1) illuminates the relationship between performance and dimensions of interest in solutions, (2) returns a set of high-performing, yet diverse solutions, and (3) improves finding a single, best solution, it will advance science and engineering.

研究の動機と目的

• 伝統的な探索アルゴリズムが単一または少数の高性能解しか返さないという限界に対処し、設計空間における重要なトレードオフを逃がさないようにする。
• サイズ、コスト、モularityなどの関心の対象となる次元における性能の変化を包括的かつ視覚的にマップする手法を開発する。
• 探索空間のより広い領域をカバーすることで、より良い全体的な解を発見する可能性を高めるために、グローバル最適化性能を向上させる。
• 研究者やエンジニアが最良の解だけでなく、設計的特徴の組み合わせがどのように性能を生み出すかを理解できるようにする。
• 進化計算および最適化分野で広く使われているアルゴリズムの基盤となる、引用可能な基礎的レファレンスを提供する。

提案手法

• MAP-Elitesは、ユーザーが選択した属性（例：サイズ、コスト、モularity）によって定義される多次元の特徴空間を用いて、高性能な解を整理・アーカイブする。
• アルゴリズムは、各セルが特徴値のユニークな組み合わせに対応するグリッド（マップ）を維持し、各セルに対して発見された最高性能の解を格納する。
• 探索空間を体系的に探索するため、階層的かつ並列化された進化的アルゴリズムを採用し、変異と選択を用いて新たな解を生成する。フィットネスはシミュレーションまたは実験によって評価される。
• マップの解像度は時間経過とともに適応的に向上し、初期は粗いグリッドから始まり、探索が進むにつれて高解像度に refining される。
• 解は特徴値に基づいてセルにマップされ、各セルに対しては最高性能の解のみが保持されるため、エリートの保存が保証される。
• アルゴリズムはバッチベースの更新戦略を採用しており、各イテレーションで複数の解が評価され、マップは反復的に更新され、特徴空間のより多くの領域をカバーする。

実験結果

リサーチクエスチョン

• RQ1 探索アルゴリズムが、ユーザーが定義した設計的特徴にわたる性能の包括的かつ視覚的なマップを提供でき、性能と属性の間のトレードオフや関係性を明らかにできるか？
• RQ2 特徴に基づくマッピングによって探索空間の広い領域をカバーすることで、従来の最適化手法よりも優れた全体的な解が得られるか？
• RQ3 MAP-Elitesは、単一の最良解しか返さないアルゴリズムと比較して、質的に異なる多様で高性能な解をどの程度発見できるか？
• RQ4 グローバルな信頼性、精度、および特徴空間のカバレッジの観点から、MAP-Elitesの性能は最先端の手法と比べてどの程度か？
• RQ5 MAP-Elitesは、ニューラルネットワーク設計、ソフトロボティクス、物理的ロボット制御といった多様な分野に効果的に適用可能か？

主な発見

• MAP-Elitesは、ソフトロボティクスやニューラルネットワーク設計を含むすべてのテストドメインで、最先端の最適化手法を上回る高いグローバル性能を達成した。
• アルゴリズムは特徴空間全体にわたり多様で高性能な解を発見し、単一解最適化手法では明らかでなかった性能のトレードオフを明らかにした。
• 網膜問題の実験では、MAP-Elitesは接続コストとネットワークのモularityにわたる性能をマップし、両者の競合する特徴をバランスさせた高性能な構成を同定した。
• ソフトロボット設計の文脈では、骨格の割合とボクセル充填率の組み合わせを探索し、歩行性能のマップを作成し、最適な設計領域を明らかにした。
• 物理的アーム実験では、MAP-Elitesはカバレッジとフィットネスの両面でランダムサンプリングやグリッドサーチを上回り、最も高い位置に到達する配置を発見した。
• アルゴリズムは、すべての実行で各セルの最高知見済み解を基準に正規化された性能を示し、優れたグローバルな信頼性と精度を示した。