[논문 리뷰] Enhancing SAEAs with Unevaluated Solutions: A Case Study of Relation Model for Expensive Optimization

Hao Hao, Xiaoqun Zhang외 1명|arXiv (Cornell University)|2023. 09. 21.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 고비용 최적화에서 검색 효율성을 향상시키기 위해 고유한 관계 모델로 예측된 평가되지 않은 해들로부터 높은 잠재력을 가진 후손을 직접 생성하는 새로운 서rogate 보조 유전적 알고리즘(DRSO)을 제안한다. XGBoost 기반의 관계 모델을 사용해 평가 없이도 해들을 순위 매김함으로써 DRSO는 개체군의 다양성과 수렴 속도를 향상시키며, 범용 회귀 및 분류 모델 대비 선택 정확도와 알고리즘 성능에서 뛰어난 성능을 보인다. 벤치마크 문제에서의 성능 평가 결과, DRSO는 기존 방법들을 압도한다.

ABSTRACT

Surrogate-assisted evolutionary algorithms (SAEAs) hold significant importance in resolving expensive optimization problems~(EOPs). Extensive efforts have been devoted to improving the efficacy of SAEAs through the development of proficient model-assisted selection methods. However, generating high-quality solutions is a prerequisite for selection. The fundamental paradigm of evaluating a limited number of solutions in each generation within SAEAs reduces the variance of adjacent populations, thus impacting the quality of offspring solutions. This is a frequently encountered issue, yet it has not gained widespread attention. This paper presents a framework using unevaluated solutions to enhance the efficiency of SAEAs. The surrogate model is employed to identify high-quality solutions for direct generation of new solutions without evaluation. To ensure dependable selection, we have introduced two tailored relation models for the selection of the optimal solution and the unevaluated population. A comprehensive experimental analysis is performed on two test suites, which showcases the superiority of the relation model over regression and classification models in the selection phase. Furthermore, the surrogate-selected unevaluated solutions with high potential have been shown to significantly enhance the efficiency of the algorithm.

연구 동기 및 목표

• 한 세대당 실제 평가 횟수가 제한되어 발생하는 SAEAs의 낮은 개체군 분산 문제를 해결하기 위해.
• 고비용 최적화에서 실질 평가가 제한된 조건에서도 높은 품질의 평가되지 않은 해들을 활용해 검색 효율성을 향상시키기 위해.
• 기존의 회귀 또는 분류 모델보다 해 품질 순위를 더 정확히 포착하는 서rogate 모델을 설계하기 위해.
• 평가되지 않은 해들의 효과를 검증하여 수렴 속도 향상과 알고리즘 경쟁력 향상에 기여하는지 확인하기 위해.

제안 방법

• 서rogate 모델링을 위해 상대적 적합도 또는 카테고리 순위 기반의 관계 쌍을 생성하는 이중관계 모델 프레임워크(R-C1 및 R-C2)를 도입한다.
• 관계 쌍에서 학습을 수행하고 투표-스코링 전략을 통해 정확도를 향상시키기 위해 XGBoost를 활용해 해 품질을 예측한다.
• 실제 평가를 위해 가장 예측된 해를 선택하고, 나머지 높은 잠재력의 평가되지 않은 해들을 직접 후손 생성에 활용한다.
• EDA/LS에서 유래한 재생 연산자를 평가되지 않은 해들에 적용하여 개체군의 다양성과 탐색 능력을 유지한다.
• 외부 아카이브를 유지하고, 실제 평가 결과와 예측 순위를 반복적으로 이용해 서rogate 모델을 갱신한다.
• 후손 생성에 사용되는 평가되지 않은 해들의 비율을 제어하는 파라미터 $ t $ 를 도입하였으며, $ t=50\% $ 가 최적의 성능을 보였다.

(a)

실험 결과

연구 질문

• RQ1 서rogate 모델에 의해 예측된 평가되지 않은 해들이 SAEAs에서 개체군의 다양성과 수렴 속도 향상에 효과적으로 기여할 수 있는가?
• RQ2 고비용 최적화에서 높은 품질의 해를 선택하는 데 있어 관계 모델이 회귀 모델 및 분류 모델보다 어떻게 우월한가?
• RQ3 최적의 알고리즘 성능를 얻기 위해 후손 생성에 포함시킬 평가되지 않은 해들의 최적 비율 $ t $ 는 얼마인가?
• RQ4 평가되지 않은 해들을 활용할 경우 SAEAs의 런타임 수렴 속도가 뚜렷이 향상되는가?
• RQ5 관계 모델은 과적합을 피하면서도 해 품질 예측과 순위 유지에 효과적으로 기여하는가?

주요 결과

• 관계 모델(R-C1 및 R-C2)은 XGBR 및 XGBC보다 선택 정확도에서 뛰어난 성능을 보였으며, R-C1는 더 높은 집중도를 보이고 R-C2는 최고 성능에서 뛰어난 결과를 기록했다.
• 평가되지 않은 해를 $ t=50\% $ 포함한 DRSO가 $ t=10\% $ 와 $ t=30\% $ 버전보다 수렴 속도에서 뛰어난 성능을 보였으며, 특히 Ellipsoid 및 Griewank 함수에서 두드러진 성능 향상을 보였다.
• 제거 실험(Ablation study) 결과, 평가되지 않은 해를 제거한 DRSO’은 수렴 속도가 느려졌으며, 이는 평가되지 않은 해들이 검색 속도 향상에 핵심적인 역할을 한다는 것을 입증했다.
• 관계 모델은 과적합을 피하면서도 해들 간의 순위 유지에 효과적이었으며, 이는 회귀 모델과는 달리 해의 순위 간 상세한 분할을 제공함으로써 분류 모델보다 더 높은 정밀도를 확보했다.
• LZG 및 YLL 테스트 세트에서 DRSO는 20D 및 50D 검색 공간에서 기존의 진화 알고리즘(EAs), 서rogate 보조 유전적 알고리즘(SAEAs), 베이지안 최적화 방법들과 비교해 뛰어난 경쟁력을 보였다.
• 다양한 함수들에 대해 알고리즘 성능가 안정적이었으며, $ t=50\% $ 는 탐색과 탐색의 균형을 잘 맞춘 최적의 조합으로 확인되었다.

(a)