[論文レビュー] Benchmarking in Optimization: Best Practice and Open Issues

Thomas Bartz–Beielstein, Carola Doerr+15 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 213被引用数 80

ひとこと要約

最適化アルゴリズムのベンチマークに関するベストプラクティスガイドラインを概説した総合的な調査で、目標、問題集合、アルゴリズム、性能指標、分析、設計、提示、再現性を扱い、未解決の課題と定期的な更新へ向けた道筋を提示する。

ABSTRACT

This survey compiles ideas and recommendations from more than a dozen researchers with different backgrounds and from different institutes around the world. Promoting best practice in benchmarking is its main goal. The article discusses eight essential topics in benchmarking: clearly stated goals, well-specified problems, suitable algorithms, adequate performance measures, thoughtful analysis, effective and efficient designs, comprehensible presentations, and guaranteed reproducibility. The final goal is to provide well-accepted guidelines (rules) that might be useful for authors and reviewers. As benchmarking in optimization is an active and evolving field of research this manuscript is meant to co-evolve over time by means of periodic updates.

研究の動機と目的

• 最適化におけるベンチマーク研究の目標と動機を明確にする。
• 問題セットとアルゴリズムの望ましい特性と評価基準を特定する。
• 性能測定、データ分析、実験設計、結果の提示に関するガイドラインを提供する。
• ベンチマークにおける再現性とデータ共有の課題に対処する。
• 分野の進展に合わせて定期的な更新を通じて進化できる枠組みを提供する。

提案手法

• 全球の機関に所属する多様な研究者からの提案を総合する。
• 討議を八つの核心的なベンチマークトピック（目標、問題、アルゴリズム、性能、分析、設計、提示、再現性）を軸に整理する。
• 各トピックに実践的なベストプラクティスの例を対応づけ、将来の課題となる未解決事項を強調する。

実験結果

リサーチクエスチョン

• RQ1 最適化におけるベンチマーク研究を推進する主な目標は何か？
• RQ2 問題インスタンスはどのように選択・評価され、代表性と多様性を保つべきか？
• RQ3 ベンチマークのための堅牢で有意義な性能指標と分析とは何か？
• RQ4 再現性と比較可能性を保証するために、実験はどのように設計・報告されるべきか？
• RQ5 ベンチマークのベストプラクティスにはどのような未解決の課題が残り、それは将来の更新でどう対処すべきか？

主な発見

• 最適化のベンチマークは、目標を明確に示すべきであり、これらは問題の選択、アルゴリズム、性能基準、および統計に影響を与える。
• 問題セットは多様で、代表性があり、スケーラブルである必要があり、時には既知の真値や最良既知の性能を持つものもある。
• アルゴリズムのチューニングと理解には、注意深い実験設計と堅牢な統計手法が必要で、パラメータのロバスト性に配慮する。
• 性能外推やトレーニングに類似した使用法（例: AutoML）は有効だが、問題の特徴とインスタンス選択の慎重な取り扱いを要する。
• 再現性は、正確なアルゴリズム/問題の記述、シード、データ形式、共有データリポジトリに依存する。標準化は未解決の課題である。
• ベンチマークは理論と実践の架け橋として機能し、理論的洞察とアルゴリズム開発を刺激し得る。