[논문 리뷰] An extensive numerical benchmark study of deterministic vs. stochastic derivative-free global optimization algorithms

Linas Stripinis, Remigijus Paulavičius|arXiv (Cornell University)|2022. 09. 13.

Advanced Optimization Algorithms Research인용 수 5

한 줄 요약

이 논문은 GKLS 및 DIRECTGOLib v1.2 컬렉션으로부터 유래한 1,197개의 테스트 문제에 대해 64개의 도함수 없는 전역 최적화 알고리즘—64개의 결정론적 및 확률적 알고리즘—을 대상으로 한 대규모 벤치마크를 제시한다. 분석 결과, 저차원 및 GKLS 유형 문제에서는 결정론적 DIRECT 유형 알고리즘이 확률적 알고리즘을 능가하는 것으로 나타났으며, 반면 함수 평가 예산이 제한된 고차원 설정에서는 AVOA와 같은 확률적 솔버가 특히 두각을 나타낸다.

ABSTRACT

Research in derivative-free global optimization is under active development, and many solution techniques are available today. Therefore, the experimental comparison of previous and emerging algorithms must be kept up to date. This paper considers the solution to the bound-constrained, possibly black-box global optimization problem. It compares 64 derivative-free deterministic algorithms against classic and state-of-the-art stochastic solvers. Among deterministic ones, a particular emphasis is on DIRECT-type, where, in recent years, significant progress has been made. A set of 800 test problems generated by the well-known GKLS generator and 397 traditional test problems from DIRECTGOLib v1.2 collection are utilized in a computational study. More than 239400 solver runs were carried out, requiring more than 531 days of single CPU time to complete them. It has been found that deterministic algorithms perform excellently on GKLS-type and low-dimensional problems, while stochastic algorithms have shown to be more efficient in higher dimensions.

연구 동기 및 목표

• 최신 결정론적 및 확률적 도함수 없는 전역 최적화 알고리즘 간의 종합적이고 최신의 비교를 제공하기 위해.
• 합성(GKLS) 및 전통적(DEIRECTGOLib v1.2) 벤치마크를 포함한 다양한 도전적인 테스트 문제에서 알고리즘 성능을 평가하기 위해.
• 함수 평가 예산과 문제 차원의 영향을 알고리즘 효과성에 미치는 영향을 평가하기 위해.
• 특히 DIRECT 유형 알고리즘에서 결정론적 솔버의 하이브리드 및 비하이브리드 변종 간의 성능을 조사하기 위해.
• 문제의 차원과 구조와 같은 특성에 따라 실무자들이 최적의 솔버를 선택하는 데 도움을 주기 위해.

제안 방법

• 총 1,197개 문제로 구성된 800개의 GKLS 생성 테스트 문제와 DIRECTGOLib v1.2에서 유래한 397개의 전통적 문제를 사용하였다.
• 함수 평가 예산을 $M_{\text{max}} = 2,500$ 및 $M_{\text{max}} = 500,000$로 설정하여 총 239,400회 이상의 솔버 실행을 수행하였다.
• 표준화된 계산 프레임워크를 사용하여 34개의 결정론적(특히 DIRECT 유형) 및 30개의 확률적(예: AVOA, SCSO, BESO, CA) 솔버를 평가하였다.
• 전역 최적해에의 수렴도 및 함수 평가 효율성 기반의 성능 지표를 적용하였으며, 결과는 모든 테스트 문제에 걸쳐 집계되었다.
• 재현 가능성을 보장하고 커뮤니티 기여를 가능하게 하기 위해, MIT 라이선스 하에 공개 가능한 확장 가능한 테스트 세트로 DIRECTGOLib v1.2 레포지터리를 활용하였다.
• 하이브리드 버전(예: OQNLP*, MCS*)과 표준 대비 버전을 비교하여 하이브리드화가 성능에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 저차원 및 고차원 문제에서 결정론적 및 확률적 도함수 없는 최적화 알고리즘의 성능를 어떻게 비교할 수 있는가?
• RQ2 함수 평가 예산이 높을 경우, GKLS 테스트 세트에서 어떤 알고리즘이 가장 우수한 성능를 보이는가?
• RQ3 하이브리드 변종이 결정론적 DIRECT 유형 솔버의 성능에 미치는 영향은 비하이브리드 대비 어떻게 다를까?
• RQ4 AVOA 및 SCSO와 같은 확률적 솔버의 고차원 문제에서의 상대적 효율성은 결정론적 방법 대비 어떠한가?
• RQ5 알고리즘 순위는 문제의 차원과 함수 평가 예산에 따라 어느 정도 의존하는가?

주요 결과

• 특히 $M_{\text{max}} = 500,000$ 조건에서, 결정론적 DIRECT 유형 알고리즘—특히 BIRMIN* 및 Gb-BIRECT—가 저차원 및 GKLS 유형 문제에서 다른 알고리즘을 모두 압도하였다.
• 함수 평가 예산이 $M_{\text{max}} = 2,500$인 고차원 문제에서는 AVOA, SCSO, BESO, CA와 같은 확률적 솔버가 최고의 성능를 보였으며, 이는 뛰어난 확장성과 관련이 있다.
• AVOA는 전체 벤치마크에서 10위를 기록했지만, 고차원 설정에서는 최고의 성능를 보였으며, 이는 GKLS 문제의 영향력이 전체 순위에 미치는 영향력이 크다는 점을 시사한다.
• 하이브리드 결정론적 솔버(예: OQNLP*, MCS*, MSNLP*, BIRMIN*)는 비하이브리드 대비 성능이 열 劣하였으며, $M_{\text{max}} = 500,000$ 조건에서도 마찬가지였다. 이는 하이브리드화가 전역 탐색 효율성을 저해할 수 있음을 시사한다.
• 알고리즘 성능는 문제에 따라 크게 달라졌으며, 한 가지 알고리즘이 모든 테스트 문제에서 우세하지 않았으며, 순위는 차원과 함수 유형에 따라 상당히 다름을 보였다.
• 본 연구는 DIRECT 유형 솔버가 저차원에서는 매우 효과적이지만, 차원이 증가함에 따라 효율성이 급격히 떨어짐을 확인하였으며, 이는 알려진 이론적 제약과 일치한다.