[論文レビュー] Identifying Properties of Real-World Optimisation Problems through a Questionnaire

Koen van der Blom, Timo M. Deist+6 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Multi-Objective Optimization Algorithms被引用数 6

ひとこと要約

本論文は、45名の実務家および研究者を対象としたグローバルな調査を通じて、現実世界の最適化問題が有する重要な特性を同定した。多数の現実世界の問題が制約あり、連続的、計算コストが高く、評価回数が限られているという特徴を示しており、これらは一般的なベンチマークでしばしば欠落している。この結果、より現実的な最適化テストスイートの設計に寄与する。

ABSTRACT

Optimisation algorithms are commonly compared on benchmarks to get insight into performance differences. However, it is not clear how closely benchmarks match the properties of real-world problems because these properties are largely unknown. This work investigates the properties of real-world problems through a questionnaire to enable the design of future benchmark problems that more closely resemble those found in the real world. The results, while not representative as they are based on only 45 responses, indicate that many problems possess at least one of the following properties: they are constrained, deterministic, have only continuous variables, require substantial computation times for both the objectives and the constraints, or allow a limited number of evaluations. Properties like known optimal solutions and analytical gradients are rarely available, limiting the options in guiding the optimisation process. These are all important aspects to consider when designing realistic benchmark problems. At the same time, the design of realistic benchmarks is difficult, because objective functions are often reported to be black-box and many problem properties are unknown. To further improve the understanding of real-world problems, readers working on a real-world optimisation problem are encouraged to fill out the questionnaire: https://tinyurl.com/opt-survey

研究の動機と目的

• 人工ベンチマークにしばしば欠落している、現実世界の最適化問題の構造的および計算的特性を理解すること。
• 制約、変数タイプ、評価時間、最適解の有無といった特性を特定し、現実世界の問題の複雑さを定義すること。
• 高次元の探索空間や高価な目的関数評価といった、現実世界の複雑さを反映していない特徴を強調することで、より現実的なベンチマークスイートの開発を支援すること。
• アルゴリズムベンチマークと現実世界への適用性を向上させるために、コミュニティ全体による現実世界の問題特性の調査を促進すること。
• 現在のベンチマークに欠落している点を同定し、今後のベンチマークフレームワークに組み込むための新しい人工的または簡略化された現実問題を提案すること。

提案手法

• 進化的計算分野の研究者および実務家に構造化されたアンケートを配布し、現実世界の最適化問題に関するデータ収集を実施した。
• アンケートでは、問題タイプ（単一／多目的／多数目的）、変数タイプ（連続／離散）、制約、評価時間、最適解の有無、解析的勾配の有無といった情報を収集した。
• 共通する特性、特定の特徴の出現頻度、問題特性間の相関関係を同定するために、回答を分析した。
• 探索的データ分析を用いて、問題次元と評価コストの関係といったトレンドを検出した。
• 既存のベンチマークスイートと照らし合わせて、欠落しているか、低く表現されている特徴を同定した。
• 結果をもとに、現実世界の複雑さと制約をよりよく反映する将来のベンチマーク問題の設計に活用した。

実験結果

リサーチクエスチョン

• RQ1 実務家が報告する現実世界の最適化問題で最も一般的な特性は何か？
• RQ2 制約、変数タイプ、評価コストの観点から、現実世界の問題は標準的な人工ベンチマークとどのように異なるか？
• RQ3 最適解や解析的勾配といった特性は、実際の問題でどれほど稀に存在するか？
• RQ4 高価な目的関数評価と限られた評価予算は、現実世界の応用でどれほど一般的か？
• RQ5 現行のベンチマークスイートに欠落しているが、現実世界の問題で一般的な特徴は何か？

主な発見

• 50%以上の多目的および多数目的問題で、目的関数に明確な優先順位が設定されており、これは優先順位に基づく削減手法の重要性を示している。
• 50%以上の問題で評価時間が1秒を超えており、目的関数および制約の両方の評価に多大な計算リソースを要するケースが多数存在する。
• 制約は重要な割合の問題に存在しており、連続変数が主流である一方、離散および混合整数問題も一般的である。
• 最適解や解析的勾配はほとんど入手不可能であり、勾配ベースや正確な最適化手法の利用が制限される。
• 多くの問題が100変数を超える高次元探索空間を有しており、これは現在のベンチマークスイートで低く表現されている。
• 単一目的問題と比較して、多目的および多数目的問題では目的関数の評価時間が顕著に長く、多数目的最適化における主な課題を示している。