[논문 리뷰] GENDIRECT: a GENeralized DIRECT-type algorithmic framework for derivative-free global optimization

Linas Stripinis, Remigijus Paulavičius|arXiv (Cornell University)|2023. 09. 02.

Advanced Optimization Algorithms ResearchMathematics인용 수 3

한 줄 요약

이 논문은 유연한 알고리즘 구성 요소 조합을 가능하게 하여 DIRECT 유형의 미분 자유 전역 최적화 방법을 통합하고 확장하는 일반화된 알고리즘 프레임워크인 GENDIRECT를 소개한다. GENDIRECT를 사용해 기존의 다섯 알고리즘을 재구성함으로써 다양한 벤치마크 문제에서 높은 효율성과 강건성을 확보한 결과, 80퍼센트 이상의 테스트 케이스에서 통계적으로 유의미한 성능 향상을 달성하였다.

ABSTRACT

Over the past three decades, numerous articles have been published discussing the renowned DIRECT algorithm (DIvididing RECTangles). These articles present innovative ideas to enhance its performance and adapt it to various types of optimization problems. A comprehensive collection of deterministic, derivative-free algorithmic implementations based on the DIRECT framework has recently been introduced as part of the DIRECTGO project. DIRECTGO empowers users to conveniently employ diverse DIRECT-type algorithms, enabling efficient solutions to practical optimization problems. Despite their variations, DIRECT-type algorithms share a common algorithmic structure and typically differ only at certain steps. Therefore, we propose GENDIRECT -- GENeralized DIRECT-type framework that encompasses and unifies DIRECT-type algorithms into a single, generalized framework within this paper. GENDIRECT offers a practical alternative to the creation of yet another ``new'' DIRECT-type algorithm that closely resembles existing ones. Instead, GENDIRECT allows the efficient generation of known or novel DIRECT-type optimization algorithms by assembling different algorithmic components. This approach provides considerably more flexibility compared to both the DIRECTGO toolbox and individual DIRECT-type algorithms. A few hundred thousand DIRECT-type algorithms can be combined using GENDIRECT, facilitating users' easy customization and the addition of new algorithmic components. By modifying specific components of five highly promising DIRECT-type algorithms found in the existing literature using GENDIRECT, the significant potential of GENDIRECT has been demonstrated. The resulting newly developed improved approaches exhibit greater efficiency and enhanced robustness in dealing with problems of varying complexity.

연구 동기 및 목표

• 유사하지만 서로 다른 여러 DIRECT 유형 알고리즘의 증가를 해결하기 위해, 단일 확장 가능한 프레임워크 아래에서 그들의 설계를 통합하고자 한다.
• 새로운 알고리즘을 처음부터 개발할 필요를 줄이기 위해, 존재하는 또는 새로운 알고리즘을 빠르고 모듈러하게 구성할 수 있도록 하고자 한다.
• 함수 평가 비용이 높은 블랙박스 문제에 대해, 파생도구가 없는 전역 최적화의 효율성과 강건성을 향상시키고자 한다.
• 다양한 문제 유형과 평가 예산에서 최적의 성능을 얻기 위한 알고리즘 구성 요소 조합의 체계적 탐색을 가능하게 하고자 한다.

제안 방법

• GENDIRECT는 분할 규칙, 샘플링 전략, 선택 기준 등의 상호 교환 가능한 알고리즘 구성 요소로 구성된 DIRECT 유형 알고리즘을 체계화한다.
• 프레임워크는 구성 요소의 조합을 통해 약 50만 개의 고유한 알고리즘 설정을 생성할 수 있다.
• 핵심 구조를 일반화하기 위해 핵심 단계를 모듈화된 함수로 추상화함으로써 동적 재구성 가능성을 확보한다.
• 프레임워크는 MATLAB로 구현되었으며, 벤치마킹을 위해 DIRECTGOLib v2.0과 통합되었다.
• 알고리즘 성능 향상은 기존의 다섯 개의 고성능 알고리즘에서 특정 구성 요소(예: 분할, 샘플링)를 수정하여 생성된다.
• 성능 평가는 20개의 테스트 문제와 네 가지 평가 예산에서 Wilcoxon 부호 순위 검정 및 프리드먼의 평균 순위 분석을 통해 통계적으로 평가되었다.

실험 결과

연구 질문

• RQ1 기존의 다양한 DIRECT 유형 알고리즘을 통합하고 확장할 수 있는 일반화된 프레임워크를 설계할 수 있는가?
• RQ2 새로운 알고리즘을 처음부터 설계하는 대신, 알고리즘 구성 요소를 재구성하는 방식으로 얼마나 높은 성능 향상을 달성할 수 있는가?
• RQ3 다양한 문제 유형과 평가 예산에서 가장 강건하고 효율적인 성능을 내는 알고리즘 구성 요소의 조합은 무엇인가?
• RQ4 다양한 함수 평가 예산 수준에서 개선된 알고리즘은 원래 알고리즘과 통계적으로 어떻게 비교되는가?

주요 결과

• 개선된 1-DTC-GL 알고리즘은 Mmax = n×104에서 평균 순위 4.6128을 기록하여 원래 버전(평균 순위 5.3375)을 유의미하게 뛰어넘었으며, Mmax = n×103에서 p-value = 2.4241×10−8을 기록하였다.
• 개선된 HALRECT-IA 버전은 Mmax = n×104에서 평균 순위 5.5229를 기록하여 원래 버전(평균 순위 7.1372)보다 뚜렷이 우수했으며, p-value = 5.3640×10−10을 기록하였다.
• 개선된 MrDIRECT 알고리즘은 Mmax = n×104에서 평균 순위 5.2500을 기록하여 원래 버전(평균 순위 6.8099)을 뚜렷이 앞섰으며, p-value = 4.5374×10−40을 기록하였다.
• 개선된 BIRMIN 알고리즘은 모든 예산에서 일관된 통계적 우수성을 보였으며, Mmax = n×105에서 p-value가 1.5552×10−15 이하였다.
• 개선된 DIRMIN 알고리즘은 Mmax = n×104에서 평균 순위 5.2886를 기록하여 원래 버전(평균 순위 5.3084)보다 뚜렷이 우수했으며, p-value = 8.2874×10−3을 기록하였다.
• 전반적으로 개선된 알고리즘의 80퍼센트 이상에서 통계적으로 유의미한 성능 향상이 관찰되었으며, 특히 Mmax ≥ n×104인 고성능 예산에서 두드러졌다.