[論文レビュー] IOHexperimenter: Benchmarking Platform for Iterative Optimization Heuristics

Jacob de Nobel, Furong Ye+4 more|arXiv (Cornell University)|Nov 7, 2021

Data Visualization and Analytics被引用数 7

ひとこと要約

IOHexperimenter は反復的最適化ヒューリスティクスのためのカスタマイズ可能で拡張可能なベンチマークプラットフォームであり、多様な問題においてアルゴリズムのパフォーマンスと内部状態を標準化された形でログ記録することを可能にする。IOHanalyzer とのシームレスな統合と、柔軟な問題変換をサポートしており、単一目的および連続的最適化設定における再現可能できめの細かいアルゴリズム比較に最適である。

ABSTRACT

We present IOHexperimenter, the experimentation module of the IOHprofiler project, which aims at providing an easy-to-use and highly customizable toolbox for benchmarking iterative optimization heuristics such as local search, evolutionary and genetic algorithms, Bayesian optimization techniques, etc. IOHexperimenter can be used as a stand-alone tool or as part of a benchmarking pipeline that uses other components of IOHprofiler such as IOHanalyzer, the module for interactive performance analysis and visualization. IOHexperimenter provides an efficient interface between optimization problems and their solvers while allowing for granular logging of the optimization process. These logs are fully compatible with existing tools for interactive data analysis, which significantly speeds up the deployment of a benchmarking pipeline. The main components of IOHexperimenter are the environment to build customized problem suites and the various logging options that allow users to steer the granularity of the data records.

研究の動機と目的

• 反復的最適化ヒューリスティクス（例：進化計算や局所探索アルゴリズム）のための拡張可能で再利用可能なベンチマークフレームワークの不足に対処すること。
• アルゴリズム、問題、ログ記録コンponents間の標準化されたモジュラーインターフェースを提供し、相互運用性と再現可能性を保証すること。
• 制御パラメータや解の品質を含む、アルゴリズム行動の細粒度なログ記録を、多様な問題変換の下で可能にすること。
• IOHanalyzer によるインタラクティブなパフォーマンス分析への統合、および Nevergrad や ParadisEO などの外部アルゴリズムフレームワークとの統合を可能にすること。
• 固定された問題セットを超えたベンチマーク能力の拡張を可能にし、ユーザーがカスタム問題インスタンスやログ戦略を定義できるようにすること。

提案手法

• IOHexperimenter は、問題を $F = T_y \circ f \circ T_x$ の形で定義する。ここで $f$ は基本となるベンチマーク関数であり、$T_x$ と $T_y$ はドメインおよびレンジ変換（例：回転、平行移動）を表す。
• C++ コアと Python インターフェースの統合により、ユーザーが任意のソルバ、問題、ログ記録モジュールを最小限のオーバーヘッドで統合可能である。
• 固定評価間隔や品質のしきい値といったユーザー定義イベントによってログ記録がトリガーされ、データの粒度をカスタマイズ可能である。
• デフォルトのログ記録では、.info ファイル（関数ID、インスタンス、次元などのメタデータ）と .dat ファイル（空白区切り形式のパフォーマンスデータ）の2種類を出力する。
• 出力形式は IOHanalyzer と完全に互換性があり、直接的にインタラクティブなパフォーマンス可視化や分析に使用可能である。
• カスタムログ記録モジュールも実装可能であり、例としてアルゴリズム設定タスク用に最終的なパフォーマンスのみをログ記録するものも可能である。

実験結果

リサーチクエスチョン

• RQ1 新しい最適化問題やソルバのための拡張性を備えたベンチマークプラットフォームを設計するには、後方互換性を損なわずにどのように実現できるか？
• RQ2 解の品質以外のアルゴリズム行動を捉えるために、ログの粒度をどの程度カスタマイズできるか？
• RQ3 再現可能性を保証するとともに、パフォーマンス分析ツールへのシームレスな統合を可能にするために、ベンチマークパイプラインをどのように構造化できるか？
• RQ4 同一のログ形式で連続的最適化（例：BBOB）と離散的最適化（例：PBO）の両方をサポートできるか？
• RQ5 本プラットフォームは、問題変換下での不変性テストやアルゴリズム設定といった高度なユースケースをどの程度効果的にサポートできるか？

主な発見

• IOHexperimenter は、多様な最適化問題とソルバにおいて、パフォーマンスとアルゴリズム内部状態の両方を一貫して標準化された形でログ記録可能である。
• プラットフォームは回転、平行移動、スケーリングなどの問題変換をサポートしており、アルゴリズムの不変性を強固にテスト可能である。
• 出力形式は IOHanalyzer と完全に互換性があり、即座にインタラクティブなパフォーマンス可視化や分析に使用可能である。
• Nevergrad や ParadisEO、モジュラー CMA-ES 実装など、主要なアルゴリズムフレームワークとの統合をサポートしている。
• カスタムログ記録機能を実装することで、設定タスク用に最終結果のみをログ記録するといった特定のユースケースにも対応可能である。
• プラットフォームは拡張可能であり、ユーザー定義の問題やログ記録モジュールをサポートしており、初期の目的を超えた新しい研究ニーズにも適応可能である。