[논문 리뷰] Benchmark of Bayesian Optimization and Metaheuristics for Control Engineering Tuning Problems with Crash Constraints

David A. Stenger, Dirk Abel|arXiv (Cornell University)|2022. 11. 04.

Advanced Multi-Objective Optimization Algorithms인용 수 6

한 줄 요약

이 논문은 실험 실패(크래시) 조건이 존재하는 제어 공학 튜닝 문제에 대해 베이지안 최적화(Bayesian optimization, BO)와 메타휴리스틱 기법을 벤치마킹한다. 실험에서 악성 파arameter 설정으로 인해 시뮬레이션이 실패하는 조건을 다루기 위해, 유연한 가상 데이터 포인트(Virtual Data Point, VDP) 방법을 제안한다. 이 방법은 BO에서 실패한 시뮬레이션 결과를 유의미한 데이터 포인트로 간주함으로써, 성능을 향상시키며, d=2인 경우 패턴 서치(Pattern Search, PS)가 가장 샘플 효율이 높고, d>2인 경우 베이지안 적응형 직접 탐색(Bayesian Adaptive Direct Search, BADS)이 다른 방법들을 능가하여, 랜덤 서치 대비 최대 16.1% 향상된 제어 성능을 달성한다.

ABSTRACT

Controller tuning based on black-box optimization allows to automatically tune performance-critical parameters w.r.t. mostly arbitrary high-level closed-loop control objectives. However, a comprehensive benchmark of different black-box optimizers for control engineering problems has not yet been conducted. Therefore, in this contribution, 11 different versions of Bayesian optimization (BO) are compared with seven metaheuristics and other baselines on a set of ten deterministic simulative single-objective tuning problems in control. Results indicate that deterministic noise, low multimodality, and substantial areas with infeasible parametrizations (crash constraints) characterize control engineering tuning problems. Therefore, a flexible method to handle crash constraints with BO is presented. A resulting increase in sample efficiency is shown in comparison to standard BO. Furthermore, benchmark results indicate that pattern search (PS) performs best on a budget of 25 d objective function evaluations and a problem dimensionality d of d = 2. Bayesian adaptive direct search, a combination of BO and PS, is shown to be most sample efficient for 3 <= d <= 5. Using these optimizers instead of random search increases controller performance by on average 6.6% and up to 16.1%.

연구 동기 및 목표

• 실제 제어 공학 튜닝 문제에서 크래시 조건이 존재하는 11종의 BO 변종과 7종의 메타휴리스틱 기법의 샘플 효율성을 평가하기 위해.
• 결정성 노이즈, 낮은 다중극값성, 비가능 영역이 존재하는 제어 튜닝 문제의 특성 구조를 규명하기 위해.
• 가상 데이터 포인트를 활용한 도메인에 종속되지 않는 크래시 조건 처리 방법을 개발하고 검증하기 위해.
• 제한된 평가 예산(25d 평가) 하에서 실용적인 제어 튜닝에 가장 효과적인 최적화 기법을 식별하기 위해.
• 다목적 또는 맥락 기반 베이지안 최적화 응용 분야에서 향후 제어 시스템에 적용할 최적의 최적화 기법 선택을 안내하기 위해.

제안 방법

• 박스 제약 조건과 크래시 제약 조건을 가진 10개의 결정적·시뮬레이션 기반 단일 목표 제어 튜닝 문제를 활용하여, 벤치마크 프레임워크를 수립하였다.
• 크래시 제약 조건 처리를 위해, 도메인 전문 지식이나 추가 모델이 필요 없는 새로운 가상 데이터 포인트(Virtual Data Point, VDP) 방법을 도입하였다.
• VDP 방법은 실패한 시뮬레이션 결과를 유의미한 데이터 포인트로 간주함으로써, BO가 실패 사례로부터 학습할 수 있도록 하여, 강건성과 샘플 효율성을 향상시킨다.
• 다양한 커널, 획득 함수, 하이퍼파라미터 설정을 가진 11종의 BO 변종과 패턴 서치(Pattern Search, PS), CMA-ES, PSO, 유전자 알고리즘(GA), Fmincon, 랜덤 서치, 격자 서치 등 7종의 메타휴리스틱 기법을 포함한 종합적 비교를 수행하였다.
• 성능 평가는 고정된 예산 25d의 목적 함수 평가 수에 기반하며, 모든 테스트 케이스와 차원에 걸쳐 평균화된 결과를 취하였다.
• VDP 방법은 기존의 BO 확장 기법(예: 맥락 기반 또는 제약 조건이 있는 BO)과도 호환되도록 설계되어, 넓은 통합 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 크래시 조건이 존재하는 제어 공학 튜닝 문제에서, 다양한 베이지안 최적화 변종이 메타휴리스틱 기법 대비 어떻게 성능을 내는가?
• RQ2 실제 제어 튜닝 문제의 목적 함수 경관에서 다중극값성, 노이즈, 비가능 영역 등의 핵심 특성은 무엇인가?
• RQ3 도메인에 종속되지 않는 가상 데이터 포인트 방법이 추가 모델이나 도메인 지식 없이도 크래시 조건 하에서 베이지안 최적화 성능을 효과적으로 향상시킬 수 있는가?
• RQ4 크래시 조건이 존재하는 상황에서 d=2와 d>2일 때 각각 가장 높은 샘플 효율을 보이는 최적화 기법은 무엇인가?
• RQ5 커널 유형, 획득 함수, 평균 함수 등의 BO 설계 요소가 이러한 실세계 제어 문제에서 성능에 미치는 영향은 어떠한가?

주요 결과

• d=2인 문제에서는 패턴 서치(Pattern Search, PS)가 25d 예산 하에서 모든 다른 최적화 기법보다 높은 샘플 효율을 보였다.
• d>2인 문제에서는 베이지안 적응형 직접 탐색(Bayesian Adaptive Direct Search, BADS)이 가장 높은 샘플 효율을 보였다.
• 제안된 가상 데이터 포인트(Virtual Data Point, VDP) 방법은 크래시 조건 하에서 BO 성능을 크게 향상시켜, d>2인 경우 BADS와 경쟁 가능한 성능을 달성하였다.
• 크래시 제약 조건 처리가 BO 성능에 가장 중요한 영향을 미치는 요소로 규명되었으며, 표준 BO는 상당한 비가능 영역이 존재하는 문제에서는 실패하였다.
• 권장 최적화 기법을 사용할 경우( d=2에선 PS, d>2에선 BADS), 랜덤 서치 대비 평균 6.6% 향상되고, 최대 16.1% 향상된 제어 성능을 달성하였다.
• d>2인 경우 제곱 지수(Squared Exponential, SE) 커널이 다중극값성에 민감한 Matérn(MA) 커널보다 우수했고, d=2인 경우 MA 커널이 더 우수하여 문제의 차원 수에 민감한 성능 차이를 보였다.