[論文レビュー] Multi-objective Analysis of MAP-Elites Performance

Eivind Samuelsen, Kyrre Glette|arXiv (Cornell University)|Mar 14, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 3

ひとこと要約

本稿では、順序効果量（Cliff’s delta）とPareto優位性を組み合わせることで、複数のスケールが異なる指標においてMAP-Elitesの性能を定量的に比較する、マルチオブジェクティブなパフォーマンス分析手法を提案する。この手法により、突然変異の大きさが突然変異の種類やマップ解像度よりも結果に与える影響が強く、4種類のロボット形状においてもσ = 0.4が精度とカバレッジの最良なトレードオフを達成することが明らかになった。

ABSTRACT

In certain complex optimization tasks, it becomes necessary to use multiple measures to characterize the performance of different algorithms. This paper presents a method that combines ordinal effect sizes with Pareto dominance to analyze such cases. Since the method is ordinal, it can also generalize across different optimization tasks even when the performance measurements are differently scaled. Through a case study, we show that this method can discover and quantify relations that would be difficult to deduce using a conventional measure-by-measure analysis. This case study applies the method to the evolution of robot controller repertoires using the MAP-Elites algorithm. Here, we analyze the search performance across a large set of parametrizations; varying mutation size and operator type, as well as map resolution, across four different robot morphologies. We show that the average magnitude of mutations has a bigger effect on outcomes than their precise distributions.

研究の動機と目的

• 精度、カバレッジ、信頼性などの、スケールが異なる複数のパフォーマンス指標において、MAP-Elitesの性能を比較する課題に対処すること。
• 確率的変動やスケールの違いを考慮した、品質多様性（QD）探索におけるアルゴリズム的トレードオフを分析する、堅牢で一般化可能な手法を開発すること。
• 突然変異サイズ、突然変異タイプ、マップ解像度といった、MAP-Elitesの主要ハイパーパrameterが、多様なロボット形状におけるパフォーマンスに与える影響を評価すること。
• 順序効果量分析が、従来の指標ごとの比較やボックスプロットベースの分析よりも明確で一般化しやすい洞察を提供できることを示すこと。

提案手法

• 本手法は、Cliff’s delta（順序的非パラメトリック効果量）を用い、複数回の実行において1つのパラメータ設定のパフォーマンスが他にどれほど優位であるかを定量化する。
• パフォーマンスの複数の目的（精度、カバレッジ、信頼性）をPareto優位性を用いて比較し、各実行を確率的結果として扱う。
• Cliff’s deltaの信頼区間はブートストラップ法により計算され、有意性検定（α = 0.01）が行われる。0との重複がある場合、差は有意でないと判断される。
• パラメトリックプロットを用いてパフォーマンスを可視化し、評価回数に伴う平均パフォーマンスの推移を示す。塗りつぶされた領域は、半数以上の実行で優位であることを示す。
• 異なるスケーリング領域にわたって結果を集約することで、本手法はロボット形状に一般化可能であり、異なる設定間の比較を可能にする。
• 本手法は、突然変異サイズ（σ）、突然変異タイプ（全パラメータ vs. パートリアイズドパラメータ）、マップ解像度（5×5～9×9）を変化させた、ロボットコントローラーレパートアの進化を対象とした事例研究に適用された。

実験結果

リサーチクエスチョン

• RQ1 突然変異サイズ（σ）の違いが、ロボットコントローラーレパートアの進化における精度とカバレッジに与える影響は何か？
• RQ2 突然変異タイプ（全パラメータ vs. 確率的摂動）が、多様なロボット形状におけるMAP-Elitesパフォーマンスに与える相対的影響は何か？
• RQ3 マップ解像度が、行動空間におけるカバレッジと精度のトレードオフに与える影響は何か？
• RQ4 Pareto優位性と組み合わせた順序効果量分析は、従来の指標ごとの比較やボックスプロットベースの分析よりも、より一般化可能で解釈可能な洞察を提供できるか？

主な発見

• 突然変異サイズσ = 0.4が、全ロボット形状において最良の全体的パフォーマンスを示し、最大の半数優位領域を示し、精度とカバレッジのトレードオフも優れている。
• 突然変異サイズσ = 0.2とσ = 0.8は同等のパフォーマンスを示し、両者ともσ = 0.05とσ = 0.1を著しく上回っている。
• 小さなマップ解像度（5×5）は、大きな解像度（7×7および9×9）を常に上回り、5×5は7×7よりも強く、7×7は9×9よりも好まれる傾向が明確に見られた。
• 突然変異タイプの効果量は小さく、有意でないため、全パラメータを突然変異させるか、一部のみを突然変異させるかの差は、意味的ではないと示唆された。
• パラメトリックプロットでは指数関数的収束傾向が確認され、評価回数に沿って等間隔のマークが一定の進行を示している。
• 本手法は4種類のロボット形状にわたり、パフォーマンスの洞察を一般化に成功し、パフォーマンス指標のスケーリングの違いにもかかわらず、一貫したトレードオフが明らかになった。