[논문 리뷰] A General Stochastic Algorithmic Framework for Minimizing Expensive Black Box Objective Functions Based on Surrogate Models and Sensitivity Analysis

Yilun Wang, Christine A. Shoemaker|arXiv (Cornell University)|2014. 10. 23.

Advanced Multi-Objective Optimization Algorithms참고 문헌 33인용 수 33

한 줄 요약

이 논문은 표면 모델과 민감도 분석을 사용하여 비용이 많이 드는 블랙박스 함수를 최소화하기 위한 확률적 알고리즘 프레임워크인 SO-SA를 제안한다. 후보 점을 생성할 때 가장 민감한 좌표만 적응적으로 변형시킴으로써 SO-SA는 고차원 문제에서 전역 수렴성과 성능을 향상시키며, 벤치마크 및 실제 Groundwater 보정 문제에서 최신 기술인 EGO와 NOMADm를 능가한다.

ABSTRACT

We are focusing on bound constrained global optimization problems, whose objective functions are computationally expensive black-box functions and have multiple local minima. The recently popular Metric Stochastic Response Surface (MSRS) algorithm proposed by \cite{Regis2007SRBF} based on adaptive or sequential learning based on response surfaces is revisited and further extended for better performance in case of higher dimensional problems. Specifically, we propose a new way to generate the candidate points which the next function evaluation point is picked from according to the metric criteria, based on a new definition of distance, and prove the global convergence of the corresponding. Correspondingly, a more adaptive implementation of MSRS, named "SO-SA", is presented. "SO-SA" is is more likely to perturb those most sensitive coordinates when generating the candidate points, instead of perturbing all coordinates simultaneously. Numerical experiments on both synthetic problems and real problems demonstrate the advantages of our new algorithm, compared with many state of the art alternatives.}

연구 동기 및 목표

• 계산 비용이 많이 들고 비볼록이며 도함수를 사용할 수 없는 블랙박스 함수의 최소화 문제에 도전한다.
• 기존의 표면 기반 방법이 고차원 문제에서 전역 근사가 열악하고 탐색이 비효율적이기 때문에 발생하는 한계를 극복한다.
• 후보 점 생성에 민감도 분 析를 통합하여 메트릭 스토케스 응답 표면(MSRS) 알고리즘의 효율성과 수렴성을 향상시킨다.
• 전체 차원의 변형에 의존하는 것에서 벗어나 민감한 변수에 집중함으로써 더 적응적이고 확장 가능한 프레임워크를 개발한다.
• 최신 기술 대비 더 뛰어난 성능을 보이며, 합성 테스트 문제와 실제 Groundwater 모델 보정 작업에서의 성능을 입증한다.

제안 방법

• 이웃 관계를 정의하기 위해 변형된 좌표 수를 기반으로 한 새로운 거리 척도를 제안하여, 더 적은 좌표가 변형될 경우 국소 정밀 조정을 선호한다.
• 후보 점 생성에 좌표별로 변형 확률을 도입하여, 낮은 확률은 국소 탐색을, 높은 확률은 전역 탐색을 장려한다.
• 민감도 분 析를 통합하여 가장 영향력 있는 변수의 변형을 우선순위에 두어 탐색 방향의 효율성을 향상시킨다.
• 반경 기반 함수(RBF)를 사용한 표면 모델링과 메트릭 기반의 다음 평가 점 선택을 활용하여, MSRS 알고리즘의 수정된 적응형 변종인 SO-SA를 구현한다.
• 모든 문제에 걸쳐 알고리즘을 비교하기 위해 측정 가능한 성능 지표 $ Q(A,P) $ 를 사용하여 최고의 알려진 해에서의 상대적인 편차를 측정한다.
• 비용이 많이 드는 '사고' 시간을 최소화하면서도 고품질의 후보 선택을 유지하기 위해 계산 오버헤드와 함수 평가 비용을 균형 잡는다.

실험 결과

연구 질문

• RQ1 기존 방법이 열등해지는 고차원 문제에서 표면 기반 전역 최적화를 어떻게 더 효과적으로 만들 수 있는가?
• RQ2 민감도 분 析를 통해 확률적 응답 표면 방법의 후보 점 선택을 효과적으로 이끌 수 있는가?
• RQ3 균일한 랜덤 변형 대비 적응적이고 좌표별로 변형하는 방식이 고비용 블랙박스 최적화에서 수렴성과 해 품질을 향상시키는가?
• RQ4 SO-SA는 고차원 테스트 함수에서 EGO, NOMADm, DYCORS 등 최신 기술 대비 성능과 효율성에서 어떻게 비교되는가?
• RQ5 후보 점 생성 시 계산 오버헤드와 최적화 정확도 및 수렴 속도 향상 사이의 상충 관계는 어떠한가?

주요 결과

• SO-SA는 모든 테스트 문제에서 성능 지표 $ Q(A) = 0 $ 을 기록하여 항상 최상이거나 근사 최상의 해를 찾는 것으로 나타났다.
• Ackley30 문제에서 SO-SA는 최적 목적값 -21.55 를 달성하여 EGO(-5.37)와 NOMADm(-10.68)를 크게 앞섰다.
• Rastrigin30 문제에서는 SO-SA가 -26.48 에 도달하여 EGO(113.32)와 SSKm(4.07)를 크게 뛰어넘었으며, 다모드 환경에서 뛰어난 전역 탐색 능력을 보였다.
• 고차원 Schoen35 문제($ d=35 $)에서는 SO-SA가 -84.39 를 기록하여 모든 알고리즘 중에서 가장 우수했으며, EGO와 NOMADm는 각각 -8.58과 -16.26 으로 열악한 성능을 보였다.
• 더 높은 오버헤드 시간($ 1.2 \times 10^3 $ 초)에도 불구하고 SO-SA의 성능은 EGO($ 1.8 \times 10^4 $ 초, 최악의 결과)에 비해 훨씬 뛰어나, 계산 비용이 해 품질 향상에 비례함을 보여주었다.
• 알고리즘은 Keane30($ d=30 $)과 TB32($ d=32 $)와 같은 다양한 문제에서 뛰어난 안정성을 보였으며, 고차원 복잡한 환경에서도 강력한 성능을 유지했다.