[論文レビュー] IOHanalyzer: Performance Analysis for Iterative Optimization Heuristic

Hao Wang, Diederick Vermetten+3 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 45被引用数 10

ひとこと要約

IOHanalyzer は、進化的および局所探索アルゴリズムを含む反復的最適化ヒューリスティクス（IOHs）のパフォーマンスデータを分析・比較・可視化するためのオープンソースでインタラクティブな R/C++ ツールです。実数値・単一目的の問題において、固定ターゲットおよび固定予算のパフォーマンスについて詳細な統計分析を可能にし、COCO や Nevergrad、IOHexperimenter のベンチマークデータをサポート。カスタマイズ可能なパフォーマンス指標と動的状態パラメータの追跡を提供します。

ABSTRACT

Benchmarking and performance analysis play an important role in understanding the behaviour of iterative optimization heuristics (IOHs) such as local search algorithms, genetic and evolutionary algorithms, Bayesian optimization algorithms, etc. This task, however, involves manual setup, execution, and analysis of the experiment on an individual basis, which is laborious and can be mitigated by a generic and well-designed platform. For this purpose, we propose IOHanalyzer, a new user-friendly tool for the analysis, comparison, and visualization of performance data of IOHs. Implemented in R and C++, IOHanalyzer is fully open source. It is available on CRAN and GitHub. IOHanalyzer provides detailed statistics about fixed-target running times and about fixed-budget performance of the benchmarked algorithms on real-valued, single-objective optimization tasks. Performance aggregation over several benchmark problems is possible, for example in the form of empirical cumulative distribution functions. Key advantages of IOHanalyzer over other performance analysis packages are its highly interactive design, which allows users to specify the performance measures, ranges, and granularity that are most useful for their experiments, and the possibility to analyze not only performance traces, but also the evolution of dynamic state parameters. IOHanalyzer can directly process performance data from the main benchmarking platforms, including the COCO platform, Nevergrad, and our own IOHexperimenter. An R programming interface is provided for users preferring to have a finer control over the implemented functionalities.

研究の動機と目的

• 反復的最適化ヒューリスティクス（IOHs）のパフォーマンス分析が人的に煩雑であるという点を解消し、統合的で自動化されたプラットフォームを提供すること。
• 遺伝的アルゴリズム、局所探索、ベイズ最適化を含む多様な IOHs における包括的なパフォーマンス評価を支援すること。
• 固定ターゲットおよび固定予算のパフォーマンス指標について、高分解能でインタラクティブかつユーザーが設定可能な分析を可能にすること。
• パフォーマンストレースの分析を越えて、最適化中の動的状態パラメータの変化を含めた分析を可能にすること。
• COCO や Nevergrad、IOHexperimputer といった主要なベンチマーキングプラットフォームとの相互運用性を確保し、直接データをインジェストできるようにすること。

提案手法

• パフォーマンスと柔軟性を両立させるために、R および C++ で実装されており、CRAN および GitHub で完全にオープンソースとして公開されている。
• 複数のベンチマーク問題における固定ターゲットの実行時間および固定予算のパフォーマンスについて、詳細な統計分析を可能にしている。
• 集約されたパフォーマンス比較のための経験的累積分布関数（ECDF）のインタラクティブな可視化を提供している。
• ユーザーインターフェースを通じて、パフォーマンス指標、分析範囲、分解能をカスタマイズ可能である。
• パフォーマンストレースと動的状態パラメータを処理し、最終的な解の品質を超えたアルゴリズムの挙動に関する洞察を可能にしている。
• 高度なユーザー向けに、ツールのコア機能にアクセス・拡張可能な R プログラミングインターフェースを提供している。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化ヒューリスティクスのパフォーマンス分析を、人的作業に依存せず、スケーラブルに改善する方法は何か？
• RQ2 多様なベンチマーク問題において IOHs を比較する際、最も効果的でユーザーがカスタマイズ可能なパフォーマンス指標は何か？
• RQ3 統合されたプラットフォームが、パフォーマンストレースと動的状態の進化の両方の分析をどの程度効果的にサポートできるか？
• RQ4 IOHanalyzer は、COCO や Nevergrad といった異種のベンチマーキングプラットフォームからのデータを、どの程度効果的に統合・処理できるか？
• RQ5 静的または事前定義済みのパフォーマンス評価パイプラインに比べて、インタラクティブでカスタマイズ可能な分析にはどのような利点があるか？

主な発見

• IOHanalyzer は、反復的最適化ヒューリスティクスの自動的・インタラクティブでカスタマイズ可能なパフォーマンス分析を可能にし、ベンチマークワークフローにおける人的作業を顕著に削減する。
• このツールは、実数値・単一目的の最適化タスクにおいて、固定ターゲットおよび固定予算のパフォーマンスについて詳細な統計分析をサポートしている。
• 複数のベンチマーク問題にわたるパフォーマンス集約のため、経験的累積分布関数（ECDF）を生成できる。
• IOHanalyzer は、パフォーマンストレースに加え、動的状態パラメータの分析も可能にし、実行中のアルゴリズム挙動に対するより深い洞察を提供する。
• COCO や Nevergrad、IOHexperimenter といった主要なベンチマーキングフレームワークからのデータをネイティブにインジェストでき、広範な互換性を確保している。
• R プログラミングインターフェースの提供により、高度なユーザーが標準インターフェースを越えて分析機能を拡張・カスタマイズできる。