[논문 리뷰] Black-Box Optimization Revisited: Improving Algorithm Selection Wizards through Massive Benchmarking

Laurent Meunier, Herilalaina Rakotoarison외 6명|arXiv (Cornell University)|2020. 10. 08.

Metaheuristic Optimization Algorithms Research참고 문헌 59인용 수 40

한 줄 요약

본 논문은 광범위한 블랙박스 최적화 벤치마크 세트인 OptimSuite와 다양한 작업에서 태스크 특화 튜닝 없이도 우수하게 작동하는 범용 알고리즘 선택 마법사 ABBO를 소개한다.

ABSTRACT

Existing studies in black-box optimization for machine learning suffer from low generalizability, caused by a typically selective choice of problem instances used for training and testing different optimization algorithms. Among other issues, this practice promotes overfitting and poor-performing user guidelines. To address this shortcoming, we propose in this work a benchmark suite, OptimSuite, which covers a broad range of black-box optimization problems, ranging from academic benchmarks to real-world applications, from discrete over numerical to mixed-integer problems, from small to very large-scale problems, from noisy over dynamic to static problems, etc. We demonstrate the advantages of such a broad collection by deriving from it Automated Black Box Optimizer (ABBO), a general-purpose algorithm selection wizard. Using three different types of algorithm selection techniques, ABBO achieves competitive performance on all benchmark suites. It significantly outperforms previous state of the art on some of them, including YABBOB and LSGO. ABBO relies on many high-quality base components. Its excellent performance is obtained without any task-specific parametrization. The OptimSuite benchmark collection, the ABBO wizard and its base solvers have all been merged into the open-source Nevergrad platform, where they are available for reproducible research.

연구 동기 및 목표

• 선정된 문제 인스턴스들로 인한 블랙박스 최적화 벤치마킹의 일반화 가능성 부족 문제를 해소한다.
• 학계용, 실제 세계용, 이산, 연속, 혼합 정수형, 노이즈가 있는 동적 문제까지 포괄하는 광범위하고 개방된 벤치마크 세트(OptimSuite)를 만든다.
• 태스크 특화 튜닝 없이 고수준 문제 특성을 활용해 해법자를 선택하고 순서를 구성하는 일반 알고리즘 선택 도구(ABBO)를 개발한다.
• OptimSuite와 YABBOB 및 LSGO 같은 기존 벤치마크에서 ABBO의 경쟁력 있는 성능을 입증한다.

제안 방법

• 여러 벤치마크(YABBOB, LSGO, MuJoCo, Pyomo, MLDA 등)를 하나의 Nevergrad-호환 개방 플랫폼으로 통합하여 OptimSuite를 구성한다.
• ABBO를 수동적, 능동적(bet-and-run), 체인링 선택 전략을 사용하는 포트폴리오 기반 마법사로 설계한다.
• 노이즈가 큰 설정에서도 의사결정 포인트와 추천을 분리하기 위해 ask-tell-recommend 프레임워크를 사용한다.
• 차원, 변수 유형, 노이즈 존재 여부, 예산, 병렬성 등 넓은 문제 속성을 갖춘 상세한 태스크 비특이적 평가 프로토콜을 제공한다.
• OptimSuite 변형 및 기존 벤치마크 세트에서 ABBO를 Shiwa 및 Nevergrad의 기본 솔버들과 대조한다.
• 재현 가능한 연구를 위한 Nevergrad 대시보드에 결과와 코드를 게시한다.

실험 결과

연구 질문

• RQ1 다양한 문제 설정에 걸쳐 진정으로 광범위하고 편향되지 않은 블랙박스 최적화 벤치마크를 OptimSuite가 제공할 수 있는가?
• RQ2 다양한 벤치마크에서 태스크 특화 튜닝 없이도 ABBO가 경쟁력 있거나 우수한 성능을 달성하는가?
• RQ3 ABBO가 설계나 튜닝에 사용되지 않은 문제에 얼마나 잘 일반화되는가?
• RQ4 체이닝 및 고급 수학적 프로그래밍 구성요소가 ABBO의 성능에 미치는 영향은 무엇인가?
• RQ5 YABBOB 및 LSGO와 같은 확립된 벤치마크에서 ABBO가 특화 해법(예: LA-MCTS, Shiwa)와 어떻게 비교되는가?

주요 결과

• ABBO는 광범위한 OptimSuite 벤치마크에서 경쟁력 있는 성능을 달성하며 종종 이전 최첨단 방법을 능가한다.
• ABBO는 YABBOB 및 LSGO에서 강력한 성능을 보이며 체이닝과 더 강한 국소 수렴 전략으로 Shiwa를 능가한다.
• OptimSuite는 Nevergrad에서 자동 재실행과 대시보드를 포함한 오픈 소스 재현 가능한 벤치마킹을 제공한다.
• 새로운 고차원 또는 노이즈가 있는 밴딧기반 방법이 ABBO를 능가하는 사례를 인정하며 지속적인 개발 가능성을 시사한다.
• 실제 작업(MuJoCo, Pyomo, PowerSystems 등)에서도 ABBO는 견고하고 경쟁력이 있어 좋은 일반화를 보여준다.
• ABBO는 여러 벤치마크에서 LA-MCTS 같은 태스크 특화 방법보다 우수하면서도 태스크 간 일관된 처리를 유지한다.