[論文レビュー] Benchmark of Bayesian Optimization and Metaheuristics for Control Engineering Tuning Problems with Crash Constraints

David A. Stenger, Dirk Abel|arXiv (Cornell University)|Nov 4, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 6

ひとこと要約

本稿は、障害制約（障害が発生するパrameter選択ではシミュレーションが失敗する）を伴う制御工学のチューニングにおいて、ベイジアン最適化（BO）とメタヒューリスティクスをベンチマークしている。障害制約を扱うための柔軟な仮想データポイント手法（VDP）を提案し、d=2ではパターンサーチ（PS）が最もサンプル効率が良く、d>2ではベイジアン適応的直接探索（BADS）が他の手法を上回り、ランダムサーチに比べて制御性能を最大16.1%向上させた。

ABSTRACT

Controller tuning based on black-box optimization allows to automatically tune performance-critical parameters w.r.t. mostly arbitrary high-level closed-loop control objectives. However, a comprehensive benchmark of different black-box optimizers for control engineering problems has not yet been conducted. Therefore, in this contribution, 11 different versions of Bayesian optimization (BO) are compared with seven metaheuristics and other baselines on a set of ten deterministic simulative single-objective tuning problems in control. Results indicate that deterministic noise, low multimodality, and substantial areas with infeasible parametrizations (crash constraints) characterize control engineering tuning problems. Therefore, a flexible method to handle crash constraints with BO is presented. A resulting increase in sample efficiency is shown in comparison to standard BO. Furthermore, benchmark results indicate that pattern search (PS) performs best on a budget of 25 d objective function evaluations and a problem dimensionality d of d = 2. Bayesian adaptive direct search, a combination of BO and PS, is shown to be most sample efficient for 3 <= d <= 5. Using these optimizers instead of random search increases controller performance by on average 6.6% and up to 16.1%.

研究の動機と目的

• 障害制約を伴う実際の制御工学的チューニング問題において、11種類のBOバリエーションと7種類のメタヒューリスティクスのサンプル効率を評価すること。
• 決定的ノイズ、低多重極値性、不可行領域を特徴とする制御チューニング問題のランドスケープを同定すること。
• ドメインに依存しない柔軟な仮想データポイント（VDP）手法を開発・検証し、BOにおける障害制約の処理を可能とすること。
• 限られた評価予算（25d評価）下での実用的制御チューニングに最も効果的な最適化手法を同定すること。
• 将来的な多目的または文脈的ベイジアン最適化の制御システムへの応用における最適化手法の選定を支援すること。

提案手法

• ボックス制約と障害制約を伴う10の決定的かつシミュレーション可能な単一目的の制御チューニング問題を用いて、ベンチマークフレームワークを構築した。
• 障害制約の処理には、ドメイン固有の知識や追加モデルを必要としない、新しい仮想データポイント（VDP）手法を導入した。
• VDP手法により、失敗したシミュレーションを情報豊富なデータポイントとして扱い、BOが失敗を学習することで、耐障害性とサンプル効率が向上する。
• 異なるカーネル、獲得関数、ハイパーパramータ設定を用いた11種類のBOバリエーションと、PS、CMA-ES、PSO、GA、Fmincon、ランダムサーチ、グリッドサーチなどの7種類のメタヒューリスティクスを包括的に比較した。
• 性能評価は、25dの固定予算（目的関数評価回数）で実施し、全テストケースおよび次元数にわたって結果を集約した。
• VDP手法は、文脈的BOや制約付きBOといった既存のBO拡張と互換性があり、広範な統合が可能であるように設計された。

実験結果

リサーチクエスチョン

• RQ1 障害制約を伴う制御工学的チューニング問題において、異なるBOバリエーションはメタヒューリスティクスと比較してどのように性能を発揮するか？
• RQ2 実際の制御チューニング問題における目的関数のランドスケープの主な特徴（多重極値性、ノイズ、不可行領域など）は何か？
• RQ3 ドメインに依存しない仮想データポイント手法は、追加のモデルやドメイン知識を必要とせずに、障害制約下でのBOパフォーマンスを効果的に向上させることができるか？
• RQ4 障害制約下で、d=2およびd>2の両方において、どの最適化手法が最もサンプル効率が高いか？
• RQ5 カーネルタイプ、獲得関数、平均関数といったBO設計の選択が、実世界の制御問題におけるパフォーマンスにどのように影響するか？

主な発見

• d=2の問題では、パターンサーチ（PS）が、25dの予算下で他のすべての最適化手法を上回り、最もサンプル効率が高かった。
• d>2の問題では、BOとPSを統合したハイブリッド手法であるベイジアン適応的直接探索（BADS）が、最もサンプル効率の高い最適化手法であった。
• 提案された仮想データポイント（VDP）手法により、BOのパフォーマンスが障害制約下で顕著に向上し、d>2ではBADSと同等の性能を達成した。
• 障害制約の処理がBOパフォーマンスに最も大きな影響を与える要因であり、標準的なBOは大規模な不可行領域を有する問題では失敗した。
• 推奨される最適化手法（d=2ではPS、d>2ではBADS）を用いることで、制御性能が平均で6.6%、最大で16.1%向上した。
• d>2では平方指数（SE）カーネルがマターヌ（MA）カーネルを上回ったが、d=2では逆にMAカーネルが優れており、問題の次元数に敏感であることが示された。