[論文レビュー] IOHprofiler: A Benchmarking and Profiling Tool for Iterative Optimization Heuristics

Carola Doerr, Hao Wang+3 more|arXiv (Cornell University)|Oct 11, 2018

Embedded Systems Design Techniques参考文献 1被引用数 52

ひとこと要約

IOHprofiler は、固定ターゲットおよび固定予算分析を用いて反復最適化ヒューリスティクスのベンチマークとプロファイリングを行い、パラメータ進化の追跡と COCO ベースの実験バックエンドを提供します。

ABSTRACT

IOHprofiler is a new tool for analyzing and comparing iterative optimization heuristics. Given as input algorithms and problems written in C or Python, it provides as output a statistical evaluation of the algorithms' performance by means of the distribution on the fixed-target running time and the fixed-budget function values. In addition, IOHprofiler also allows to track the evolution of algorithm parameters, making our tool particularly useful for the analysis, comparison, and design of (self-)adaptive algorithms. IOHprofiler is a ready-to-use software. It consists of two parts: an experimental part, which generates the running time data, and a post-processing part, which produces the summarizing comparisons and statistical evaluations. The experimental part is build on the COCO software, which has been adjusted to cope with optimization problems that are formulated as functions $f:\mathcal{S}^n \to \R$ with $\mathcal{S}$ being a discrete alphabet of integers. The post-processing part is our own work. It can be used as a stand-alone tool for the evaluation of running time data of arbitrary benchmark problems. It accepts as input files not only the output files of IOHprofiler, but also original COCO data files. The post-processing tool is designed for an interactive evaluation, allowing the user to chose the ranges and the precision of the displayed data according to his/her needs. IOHprofiler is available on GitHub at \url{https://github.com/IOHprofiler}.

研究の動機と目的

• 統計的に妥当な性能指標を用いて、離散問題全体で IOH の反復最適化ヒューリスティクスをベンチマークおよび比較する。
• 関数評価を主なコスト指標とした固定ターゲットおよび固定予算分析を提供する。
• 適応的ヒューリスティクスの設計を支援するため、アルゴリズムのパラメータ進化の追跡と分析を可能にする。

提案手法

• COCO に基づく実験部分（データ生成）と、分析・可視化のポスト処理部分を備えた二部構成ツールで、スタンドアロン機能を有する。
• 離散アルファベット上の問題 f:S^n -> R をサポートします；実験部では最大化を仮定し、ノイズなし・静的問題。
• 出力には、固定ターゲットと固定予算シナリオの分布、ECDF、ヒストグラム、経験的 PMF、分位数および平均が含まれます。
• 問題の変換（アフィン、XOR、置換）を許可し、アルゴリズムの不変性特性を検証します。
• ユーザー指定のアルゴリズムパラメータを追跡し、パラメータ進化の類似の性能統計を生成します。
• データ形式は COCO に準拠し、完全、区間、ターゲットベース、時間ベースなどの柔軟な粒度オプションとランごとの統計を提供します。

実験結果

リサーチクエスチョン

• RQ1 IOHprofiler は、統計的に堅牢な方法で様々な離散最適化問題にわたって IOHs を比較できるか。
• RQ2 固定ターゲットと固定予算の視点は、アルゴリズム性能を評価する際にどのように相補的か。
• RQ3 アフィン的シフト、ビット演算 XOR、置換といった問題の変換が、アルゴリズムの挙動に与える影響は何か。
• RQ4 IOHprofiler は最適化中のアルゴリズムパラメータの進化を効果的に追跡・分析できるか。
• RQ5 対話的評価と再現性を可能にする標準的な出力とデータ形式は何か。

主な発見

• IOHprofiler は、固定ターゲット実行時間の平均と分位数、固定予算値を含む統計的ベンチマーク出力を提供します。
• IOHprofiler は、実行ごとの性能分布を特徴づける ECDF 曲線、ヒストグラム、PMF を提供します。
• ユーザー指定のアルゴリズムパラメータの追跡をサポートし、時間経過または品質マイルストーンにおける進化をプロファイルします。
• ポスト処理部は COCO データファイルまたは IOHprofiler 出力を受け付け、柔軟な相互互換性を実現します。
• 実験部は離散最適化問題向けに設計され、アルゴリズムの不変性特性を検証するための問題変換を可能にします。