[논문 리뷰] pysamoo: Surrogate-Assisted Multi-Objective Optimization in Python

Julian Blank, Kalyanmoy Deb|arXiv (Cornell University)|2022. 04. 12.

Advanced Multi-Objective Optimization Algorithms인용 수 7

한 줄 요약

pysamoo는 계산적으로 비용이 많이 드는 문제를 위한 surrogate-assisted 다목적 최적화를 가능하게 하는 파이썬 프레임워크로, pymoo를 확장하여 구현되었다. 이 프레임워크는 NSGA-II 및 CMA-ES와 같은 진화 알고리즘에 라디얼 기저 함수 등 다양한 surrogates를 통합하여, 100~500회에 한정된 평가 예산 내에서 비용이 많이 드는 함수 평가 횟수를 줄이고 수렴 속도를 크게 향상시킨다.

ABSTRACT

Significant effort has been made to solve computationally expensive optimization problems in the past two decades, and various optimization methods incorporating surrogates into optimization have been proposed. However, most optimization toolboxes do not consist of ready-to-run algorithms for computationally expensive problems, especially in combination with other key requirements, such as handling multiple conflicting objectives or constraints. Thus, the lack of appropriate software packages has become a bottleneck for solving real-world applications. The proposed framework, pysamoo, addresses these shortcomings of existing optimization frameworks and provides multiple optimization methods for handling problems involving time-consuming evaluation functions. The framework extends the functionalities of pymoo, a popular and comprehensive toolbox for multi-objective optimization, and incorporates surrogates to support expensive function evaluations. The framework is available under the GNU Affero General Public License (AGPL) and is primarily designed for research purposes. For more information about pysamoo, readers are encouraged to visit: anyoptimization.com/projects/pysamoo.

연구 동기 및 목표

• 계산적으로 비용이 많이 드는 다목적 문제에 특화된 즉시 사용 가능한 오픈소스 최적화 프레임워크의 부족을 해결한다.
• 각 함수 평가(예: CFD, FEA)에 상당한 시간이 소요되어 총 평가 횟수를 100~500회 이내로 제한하는 환경에서 효율적인 최적화를 가능하게 한다.
• 다양한 메타휴리스틱(예: GA, DE, CMA-ES, NSGA-II)에 surrogates를 통합하여 비용이 많이 드는 평가를 근사화하고 수렴 속도를 가속화한다.
• 연구자들이 실제 응용 분야에서 surrogate-assisted 최적화 전략을 실험할 수 있도록 유연하고 확장 가능한 AGPL 라이선스 하에 제공되는 프레임워크를 구축한다.
• 단일 및 다목적 최적화를 제약 조건이 있는 환경에서 지원하며, 검색 과정에서 고비용 시뮬레이션에 대한 의존도를 줄이기 위해 surrogates를 활용한다.

제안 방법

• 비용이 많이 드는 목표 함수 및 제약 조건 함수를 근사하기 위해 surrogates를 통합하여 pymoo 프레임워크를 확장하여 surrogate-assisted 최적화를 지원한다.
• 두 가지 핵심 surrogates 통합 전략인 PSAF(Problem-Specific Adaptive Filtering)와 GPSAF(Global Problem-Specific Adaptive Filtering)를 구현하여 surrogates 예측을 기반으로 유망한 해를 선별한다.
• 라디얼 기저 함수(RBF) 모델을 surrogates로 사용하여 고정밀도 시뮬레이션 결과를 정확하게 근사하고 예측 오차를 최소화하면서도 계산 효율성을 유지한다.
• 비용이 많이 드는 해 평가(ESEs)와 surrogates를 활용한 근사 해 평가(ASEs)를 번갈아가며 적용하여 평가 예산을 엄격히 준수하면서도 검색을 이끌어낸다.
• NSGA-II, NSGA-III, CMA-ES, DE와 같은 기존 메타휴리스틱에 surrogates를 통합하여 핵심 알고리즘 로직을 수정하지 않고도 수렴 속도 향상을 가능하게 한다.
• 가장 정보가 많은 해를 사용하여 반복적으로 surrogates 모델을 정밀화하는 동적 샘플링 전략을 적용하여 제한된 평가 예산 내에서 탐색과 탐색의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 기존의 다목적 진화 알고리즘에 surrogates를 효과적으로 통합하여 비용이 많이 드는 함수 평가 횟수를 줄일 수 있는가?
• RQ2 제한된 평가 예산 내에서 실세계 시뮬레이션 기반 문제에 surrogate-assisted 최적화를 적용했을 때 성능 향상은 어떠한가?
• RQ3 다양한 다목적 최적화 문제에서 PSAF 및 GPSAF 전략의 수렴 속도와 수렴 품질 측면에서의 성능 비교는 어떠한가?
• RQ4 NSGA-III 및 CMA-ES와 같은 메타휴리스틱이 계산적으로 비용이 많이 드는 환경에서 surrogates를 얼마나 효율적으로 향상시킬 수 있는가?
• RQ5 다양한 메타휴리스틱을 지원하면서도 모듈성과 확장성을 유지하는 통합 프레임워크를 구축할 수 있는가?

주요 결과

• pysamoo는 NSGA-II, NSGA-III, CMA-ES, DE 등 다양한 메타휴리스틱에 surrogates를 성공적으로 통합하여 제한된 평가 예산 내에서 효율적인 최적화를 가능하게 하였다.
• 프레임워크는 surrogates를 사용한 근사 해 평가(ASEs)를 통해 비용이 많이 드는 함수 평가에 대한 의존도를 줄였으며, 이는 계산적으로 비용이 적게 들고 검색 과정을 이끄는 데 사용된다.
• PSAF 및 GPSAF 전략은 surrogates 예측을 기반으로 유망한 해를 지능적으로 선별하여 고비용 최적화 문제에서 수렴 속도와 수렴 품질을 크게 향상시켰다.
• 라디얼 기저 함수(RBF) surrogates의 사용은 고정밀도 시뮬레이션 출력을 정확하게 근사하면서도 예측 오차를 최소화하고 낮은 계산 오버헤드를 유지할 수 있게 하였다.
• pysamoo는 엔지니어링, 농업, 헬스케어 등 실제 응용 분야의 시뮬레이션 기반 문제를 더 효율적으로 해결할 수 있도록 고비용 시뮬레이션 횟수를 줄였다.
• 프레임워크는 AGPL 라이선스 하에 공개되어 연구 목적 사용에 무료로 이용 가능하며, 향후 surrogate-assisted 최적화 방법의 개발 및 확장에 유연하게 활용될 수 있다.