[論文レビュー] Black-box Mixed-Variable Optimisation using a Surrogate Model that Satisfies Integer Constraints

Laurens Bliek, Arthur Guijt+2 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用数 14

ひとこと要約

本稿では、連続変数と整数変数を併用する高価なブラックボックス問題のための、アンサンブルベースの最適化手法であるMixed-Variable ReLU-based Surrogate Modelling (MVRSM) を提案する。固定サイズのリラックスド線形結合（ReLUs）を用いることで、すべての局所最適解が整数制約を満たすように保証され、時間経過に伴うモデルの成長を回避し、変数間の相互作用を捉えることができる。大規模な合成ベンチマークにおいて最先端の性能を達成し、XGBoostのハイパーパramータチューニング や静電気的集塵装置の最適化といった実世界のタスクにおいても競争力ある結果を示した。

ABSTRACT

A challenging problem in both engineering and computer science is that of minimising a function for which we have no mathematical formulation available, that is expensive to evaluate, and that contains continuous and integer variables, for example in automatic algorithm configuration. Surrogate-based algorithms are very suitable for this type of problem, but most existing techniques are designed with only continuous or only discrete variables in mind. Mixed-Variable ReLU-based Surrogate Modelling (MVRSM) is a surrogate-based algorithm that uses a linear combination of rectified linear units, defined in such a way that (local) optima satisfy the integer constraints. This method outperforms the state of the art on several synthetic benchmarks with up to 238 continuous and integer variables, and achieves competitive performance on two real-life benchmarks: XGBoost hyperparameter tuning and Electrostatic Precipitator optimisation.

研究の動機と目的

• 連続変数と整数変数を併用する高価なブラックボックス関数の最適化という課題に対処すること。
• 既存のアンサンブル手法が時間経過に伴いモデルサイズが増大する、または丸めや離散化による整数制約の違反を生じるという限界を克服すること。
• 固定サイズを維持しつつ、すべての変数間の相互作用を捉えるアンサンブルモデルを構築し、すべての局所最適解が整数可能であることを保証すること。
• 問題固有のハイパーパramータチューニングを必要とせず、大規模問題においても高い精度と効率性を達成すること。

提案手法

• MVRSM は、局所最適解が整数制約を満たすようにパラメータ化された、リラックスド線形ユニット（ReLUs）の線形結合に基づくアンサンブルモデルを用いる。
• モデルは高価なブラックボックス関数の評価結果を学習し、サイズが増大しない形で反復的に更新され、計算効率が保証される。
• ReLU 基底関数は、アンサンブルモデルの任意の局所最小値が離散変数に対して正確に整数値をとるように設計されており、丸め処理や整数プログラミングの必要性がなくなる。
• すべての最適解が本質的に整数可能であるため、標準的な連続最適化手法を用いてアンサンブルモデルを探索できる。
• モデル成長を回避するため、固定された基底関数の集合を用いる。これは、ガウス過程や他の適応的アンサンブルモデルで見られるモデルの成長とは対照的である。
• 反復的に適用される：真の目的関数を評価し、アンサンブルモデルを更新し、次回の評価点をアンサンブルモデルの最適化により選択する。

実験結果

リサーチクエスチョン

• RQ1 混合整数最適化において、連続変数と整数変数の相互作用を捉えつつ、固定サイズを維持できるアンサンブルモデルを設計できるか？
• RQ2 アンサンブルモデルのすべての局所最適解が整数制約を満たすように保証することで、丸めや離散化と比較して性能と効率が向上するか？
• RQ3 100以上の変数を含む大規模な合成ベンチマークにおいて、MVRSM の精度と計算時間のスケーリング特性はいかがなものか？
• RQ4 ハイパーパramータチューニングを必要とせず、ハイパーパramータチューニング やエンジニアリング設計といった実世界の問題においても、MVRSM は競争力のある性能を発揮できるか？
• RQ5 成長するアンサンブルモデルによる遅延が一般的に見られるベイズ最適化アルゴリズムとは異なり、MVRSM はその問題を回避できるか？

主な発見

• MVRSM は、50 個のバイナリ変数と 3 個の連続変数を有する Ackley53（50 binary, 3 continuous）および 119 個の整数変数と 119 個の連続変数を有する Rosenbrock238（119 integer, 119 continuous）を含む、大規模な合成ベンチマークで最先端の手法を上回り、少ない評価回数でより低い目的関数値を達成した。
• Ackley53 ベンチマークでは、76 回の反復後、平均目的関数値が 1.29 に達し、HO や SMAC と有意差のない結果（p ≈ 0.13）を示したが、CoCaBO よりも優れた性能（p ≈ 0.024）を示した。
• Rosenbrock238 およびランダムな合成ベンチマークにおいて、MVRSM は BO、CoCaBO、HO、SMAC を顕著に上回った。BO や CoCaBO の計算時間は、計算が非現実的になるほど増大した。
• MVRSM の計算時間は反復回数にかかわらず安定しており、BO や CoCaBO、SMAC とは異なり、成長するアンサンブルモデルによる実行時間の増加が見られなかった。
• XGBoost のハイパーパラメータチューニング や静電気的集塵装置の最適化といった実世界の問題においても、MVRSM は問題固有のハイパーパラメータチューニングを必要とせず、競争力ある性能を示した。
• 本手法は、238 変数までの大規模な問題においても高い精度を維持する強靭性とスケーラビリティを示し、他の手法が遅延や失敗を示す大規模な設定において明確な優位性を示した。