[논문 리뷰] Black-box Mixed-Variable Optimisation using a Surrogate Model that Satisfies Integer Constraints

Laurens Bliek, Arthur Guijt외 2명|arXiv (Cornell University)|2020. 06. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 29인용 수 14

한 줄 요약

이 논문은 혼합 연속 및 정수 변수를 가진 고비용 블랙박스 문제를 위한 서로서기 기반 최적화 방법인 혼합변수 ReLU 기반 서로서기 모델링(Mixed-Variable ReLU-based Surrogate Modelling, MVRSM)을 제안한다. 고정 크기의 정수 선형 조합을 사용함으로써 MVRSM는 모든 국소 최적해가 정수 제약 조건을 만족시키며, 시간이 지남에 따라 모델 크기가 증가하지 않으며, 변수 간 상호작용을 포착한다. 이로 인해 대규모 시뮬레이션 기반 벤치마크에서 최첨단 성능을 달성하고, XGBoost 하이퍼파rameter 튜닝 및 전기집진기 최적화와 같은 실제 문제들에서도 경쟁력 있는 결과를 얻는다.

ABSTRACT

A challenging problem in both engineering and computer science is that of minimising a function for which we have no mathematical formulation available, that is expensive to evaluate, and that contains continuous and integer variables, for example in automatic algorithm configuration. Surrogate-based algorithms are very suitable for this type of problem, but most existing techniques are designed with only continuous or only discrete variables in mind. Mixed-Variable ReLU-based Surrogate Modelling (MVRSM) is a surrogate-based algorithm that uses a linear combination of rectified linear units, defined in such a way that (local) optima satisfy the integer constraints. This method outperforms the state of the art on several synthetic benchmarks with up to 238 continuous and integer variables, and achieves competitive performance on two real-life benchmarks: XGBoost hyperparameter tuning and Electrostatic Precipitator optimisation.

연구 동기 및 목표

• 고비용 블랙박스 함수의 최적화 문제를 연속 및 정수 변수를 모두 포함하는 상황에서 해결하고자 한다.
• 기존 서로서기 방법의 한계를 극복하고자 하며, 이는 시간이 지남에 따라 모델 크기가 증가하거나, 반올림 또는 이산화 과정으로 인해 정수 제약 조건을 위반하는 경우가 있기 때문이다.
• 모든 변수 간 상호작용을 포착하면서도 고정된 크기로 유지하고, 국소 최적해가 정수 가능성을 보장하는 서로서기 모델을 개발하고자 한다.
• 문제 특화 하이퍼파rameter 조정 없이도 대규모 문제에서 높은 정확도와 효율성을 달성하고자 한다.

제안 방법

• MVRSM는 국소 최적해에서 정수 제약 조건을 만족하도록 설계된 정수 선형 조합 기반의 서로서기 모델을 사용한다.
• 모델은 고비용 블랙박스 함수 평가 결과를 기반으로 훈련되며, 크기가 증가하지 않도록 반복적으로 업데이트되어 계산 효율성을 확보한다.
• ReLU 기반 함수는 국소 최소값이 이산 변수에 정확히 정수 값에 위치하도록 설계되어, 반올림이나 정수 프로그래밍이 필요 없게 한다.
• 모든 최적해가 자연스럽게 정수 가능성을 만족하므로, 표준 연속 최적화 기법을 사용해 서로서기 모델을 탐색할 수 있다.
• 모델 성장 문제를 피하기 위해 고정된 기저 함수 집합을 사용하며, 가우스 프로세스나 기타 적응형 서로서기 모델에서 관찰되는 것과 같은 모델 크기 증가 현상이 발생하지 않는다.
• 이러한 방법은 반복적으로 적용된다: 진짜 목표 함수를 평가하고, 서로서기 모델을 업데이트한 후, 다음 평가 포인트를 선택하기 위해 서로서기 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 혼합정수 최적화 문제에서 연속 및 정수 변수 간 상호작용을 포착하면서도 고정된 크기를 유지할 수 있는 서로서기 모델을 설계할 수 있는가?
• RQ2 서로서기 모델의 모든 국소 최적해가 정수 제약 조건을 만족하도록 보장할 경우, 반올림이나 이산화 방법에 비해 성능과 효율성이 향상되는가?
• RQ3 100개 이상의 변수를 포함하는 대규모 시뮬레이션 벤치마크에서 MVRSM의 정확도와 계산 시간은 어떻게 스케일링되는가?
• RQ4 하이퍼파rameter 조정 없이도 MVRSM이 하이퍼파rameter 튜닝 및 공학 설계 문제와 같은 실제 문제에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 growing surrogate 모델로 인해 일반적으로 발생하는 베이지안 최적화 알고리즘의 성능 저하 문제를 MVRSM은 피할 수 있는가?

주요 결과

• MVRSM는 대규모 시뮬레이션 벤치마크에서 최첨단 기법들을 능가하며, Ackley53(50개 이진, 3개 연속) 및 Rosenbrock238(119개 정수, 119개 연속) 문제에서 더 낮은 목표값을 더 적은 평가 수로 달성했다.
• Ackley53 벤치마크에서 MVRSM는 76회의 반복 후 평균 최종 목표값 1.29를 기록했으며, HO나 SMAC와 유의미한 차이가 없었음(p ≈ 0.13), 그러나 CoCaBO보다 유의미하게 뛰어났음(p ≈ 0.024).
• Rosenbrock238 및 무작위 시뮬레이션 벤치마크에서 MVRSM는 BO, CoCaBO, HO, SMAC를 모두 상회했으며, BO 및 CoCaBO의 계산 시간은 기하급수적으로 증가하여 사용이 불가능해졌다.
• MVRSM의 계산 시간은 반복 과정 동안 안정적으로 유지되었으며, BO, CoCaBO, SMAC는 모델 크기가 증가함에 따라 런타임이 증가하는 경향을 보였다.
• 실제 문제인 XGBoost 하이퍼파rameter 튜닝 및 전기집진기 최적화에서 MVRSM는 문제 특화 하이퍼파rameter 조정 없이도 경쟁 가능한 성능을 보였다.
• 이 방법은 정확도 유지와 함께 높은 강건성과 확장성을 보였으며, 최대 238개 변수를 가진 문제에서도 높은 정확도를 유지했고, 다른 방법들이 느려지거나 실패하는 대규모 환경에서 뚜렷한 이점을 보였다.