[논문 리뷰] OpenBox: A Python Toolkit for Generalized Black-box Optimization

Huaijun Jiang, Yu Shen외 6명|arXiv (Cornell University)|2023. 04. 26.

Metaheuristic Optimization Algorithms Research인용 수 6

한 줄 요약

OpenBox는 다목적, 제약 조건, 범주형 최적화를 지원하는 일반화된 블랙박스 최적화를 위한 파이썬 툴킷입니다. 기존 시스템의 한계를 보완하기 위해 모듈식이며 사용자 우아한 프레임워크를 제공하며, 베이지안 최적화와 CMA-ES와 같은 최신 알고리즘을 통합하고, 자동 알고리즘 선택 기능을 갖추고 있습니다. 다양한 실세계 응용 분야에서 뛰어난 성능과 효율성을 입증하였으며, 하이퍼파라미터 튜닝과 데이터베이스 최적화를 포함합니다.

ABSTRACT

Black-box optimization (BBO) has a broad range of applications, including automatic machine learning, experimental design, and database knob tuning. However, users still face challenges when applying BBO methods to their problems at hand with existing software packages in terms of applicability, performance, and efficiency. This paper presents OpenBox, an open-source BBO toolkit with improved usability. It implements user-friendly interfaces and visualization for users to define and manage their tasks. The modular design behind OpenBox facilitates its flexible deployment in existing systems. Experimental results demonstrate the effectiveness and efficiency of OpenBox over existing systems. The source code of OpenBox is available at https://github.com/PKU-DAIR/open-box.

연구 동기 및 목표

• 다양한 목표, 제약 조건, 범주형 파라미터를 수반하는 일반화된 블랙박스 최적화(BBO)를 위한 종합적이고 확장 가능하며 사용자 友好的 플랫폼의 부족을 해결하기 위해.
• 기존 BBO 도구들이 제한된 功能, 알고리즘 지원 부족으로 인한 성능 불안정성, 비효율적인 순차적 실행 등의 한계를 극복하기 위해.
• 모듈식 아키텍처와 초보자 및 전문가 사용자 모두를 위한 직관적인 인터페이스를 통해 실세계 시스템에의 탄력적 구현을 가능하게 하기 위해.
• 문제 특성에 기반한 고급 알고리즘 통합과 자동 설정을 통해 최적화의 효율성과 효과를 향상시키기 위해.
• 자동화된 머신러닝, 데이터베이스 튜닝, 교통 시뮬레이션 등 다양한 분야에 광범위하게 적용 가능하도록 확장 가능한 설계를 통해 응용 가능성을 극대화하기 위해.

제안 방법

• 세 가지 핵심 구성 요소인 어드바이저(최적화 알고리즘 엔진), 엑스큐터(함수 평가 관리자), 비주얼라이저(실시간 모니터링 및 분석)를 갖춘 모듈식 시스템 아키텍처를 구현하기 위해.
• 기존 워크플로우 및 시스템에의 원활한 통합을 위해 'ask-and-tell' 및 래pped 서비스 인터페이스를 모두 지원하기 위해.
• 베이지안 최적화(가우시안 프로세스 및 확률적 랜덤 포레스트 대체 모델 포함), 진화 알고리즘, CMA-ES를 포함한 다양한 최신 BBO 알고리즘을 통합하기 위해.
• 문제 특성에 기반한 자동 알고리즘 선택을 적용하기 위해 — 예를 들어 고차원 또는 대규모 예산 문제에서는 계산적 호환성 문제를 방지하기 위해 확률적 랜덤 포레스트로 전환하기 위해.
• 수렴 곡선, SHAP 기반 기능 중요도, 다목적 최적화를 위한 파레토 최적 해/초과체적적량 차트를 포함한 시각화 도구를 제공하기 위해.
• 분산 컴퓨팅 자원을 효율적으로 활용할 수 있도록 순차적 및 병렬 최적화 실행을 모두 지원함으로써 확장성을 확보하기 위해.

Figure 1: Simplified overview of supported scenarios and built-in algorithms in OpenBox .

실험 결과

연구 질문

• RQ1 다양한 목표, 제약 조건, 범주형 파rameter를 수반하는 일반화된 최적화 시나리오를 지원할 수 있는 BBO 툴킷은 어떻게 설계될 수 있는가?
• RQ2 다양한 BBO 문제에서 안정적이고 고성능 최적화를 가능하게 하는 아키텍처 및 알고리즘 선택은 무엇인가?
• RQ3 전문가 튜닝 없이도 자동 알고리즘 및 하이퍼파라미터 선택이 최적화 효율성을 향상시킬 수 있는가?
• RQ4 고급 시각화 도구와 사용자 우아한 인터페이스의 통합은 실세계 BBO 응용에서 사용성과 해석 가능성에 어떻게 기여하는가?
• RQ5 통합된 BBO 툴킷은 성능, 확장성, 실세계 구현 측면에서 기존 전용 플랫폼을 얼마나 뛰어나게 성과를 낼 수 있는가?

주요 결과

• OpenBox는 다양한 BBO 작업에서 기존 시스템을 압도하며, 뛰어난 최적화 효율성과 수렴 속도를 입증하였다.
• OpenBox는 데이터베이스 튜닝(DBTune), 교통 시뮬레이션, 그래프 신경망 아키텍처 탐색(SGL)과 같은 복잡한 실세계 문제를 성공적으로 처리하여 실용적 유용성을 입증하였다.
• CIKM 2021 AnalytiCup Track 2에서 1등을 차지하여 산업 기준 벤치마크 환경에서의 효과성을 입증하였다.
• Tencent과 ByteDance의 생산 환경에서 OpenBox의 구성 요소가 실제 구현되어, 실세계 환경에서의 확장성과 견고함을 확인하였다.
• 고차원 탐색 공간과 같은 문제 특성에 적절히 대응하기 위해, 확률적 랜덤 포레스트와 같은 더 확장 가능한 대체 모델로 전환하는 자동 알고리즘 선택 메커니즘이 효과적으로 작동하였다.
• SHAP 기반 중요도 분석 및 파레토 최적 해 추적을 포함한 시각화 도구들은 최적화 과정 중 실질적인 통찰을 제공하고 모델의 설명 가능성을 향상시켰다.

Figure 2: System overview of OpenBox , including the system architecture (upper left), an example of the ask-and-tell interface using Advisor (right), and an example of visualization interfaces (bottom left).