[논문 리뷰] MATSuMoTo: The MATLAB Surrogate Model Toolbox For Computationally Expensive Black-Box Global Optimization Problems

Juliane Mueller|arXiv (Cornell University)|2014. 04. 16.

Advanced Multi-Objective Optimization Algorithms참고 문헌 24인용 수 43

한 줄 요약

MATSuMoTo는 연속형, 혼합정수형 또는 순수 정수형 변수를 가진 계산적으로 비용이 많이 드는 블랙박스 전역 최적화 문제를 위한 MATLAB 기반의 서rogate 모델 도구상자이다. 이 도구상자는 적응형 샘플링 전략과 서rogate 모델(예: 반경 기반 함수 및 크리깅)을 사용하며, 병렬 함수 평가를 통해 제한된 수의 비용이 많이 드는 함수 평가 내에서 근사 최적해를 효율적으로 탐색한다.

ABSTRACT

MATSuMoTo is the MATLAB Surrogate Model Toolbox for computationally expensive, black-box, global optimization problems that may have continuous, mixed-integer, or pure integer variables. Due to the black-box nature of the objective function, derivatives are not available. Hence, surrogate models are used as computationally cheap approximations of the expensive objective function in order to guide the search for improved solutions. Due to the computational expense of doing a single function evaluation, the goal is to find optimal solutions within very few expensive evaluations. The multimodality of the expensive black-box function requires an algorithm that is able to search locally as well as globally. MATSuMoTo is able to address these challenges. MATSuMoTo offers various choices for surrogate models and surrogate model mixtures, initial experimental design strategies, and sampling strategies. MATSuMoTo is able to do several function evaluations in parallel by exploiting MATLAB's Parallel Computing Toolbox.

연구 동기 및 목표

• 도함수 정보가 제공되지 않는 계산적으로 비용이 많이 드는 블랙박스 최적화 문제의 전역 최적화 과제를 해결한다.
• 연속형, 혼합정수형 또는 순수 정수형 변수를 가진 문제에 대해 효율적인 최적화를 가능하게 한다.
• 서rogate 모델과 적응형 샘플링 전략을 활용하여 비용이 많이 드는 함수 평가 횟수를 최소화한다.
• MATLAB의 Parallel Computing Toolbox를 사용하여 병렬 함수 평가를 지원함으로써 수렴 속도를 가속화한다.
• 연구자와 실무자가 복잡한 시뮬레이션 기반 최적화 문제를 해결할 수 있도록 유연하고 확장 가능한 프레임워크를 제공한다.

제안 방법

• 비용이 많이 드는 목적 함수의 계산적으로 저비용의 근사치로 서rogate 모델(예: 반경 기반 함수, 크리깅, 다항식 모델)을 사용한다.
• 초기 실험 설계 전략으로 라틴 하이퍼큐브, 맥심린, 균일 샘플링을 사용하여 초기 샘플 집합을 생성한다.
• 두 가지 주요 샘플링 전략을 구현한다: (1) 연속형 변수의 경우 fmincon을, 정수형/혼합정수형 변수의 경우 ga를 사용해 서rogate 모델을 局부적으로 최소화하고, (2) 기존 점들로부터의 최소 거리를 최대화하여 전역 모델 적합도를 향상시킨다.
• 국소 최적해에 갇히는 것을 방지하기 위해 적응형 펌프 전략을 적용한다: 연속 3회 실패 후 펌프 범위를 두 배로 늘리고, 5회 감소가 발생하면 재시작한다.
• 매 반복마다 MATLAB의 Parallel Computing Toolbox를 사용하여 병렬 함수 평가를 활성화하고, 자동으로 워커 풀 관리를 수행한다.
• 이deal 조건 하에서 전역 수렴을 보장하는 점근적 완전성(Asymptotic completeness)을 확보하여 국소 최적해에서 조기 정체를 방지한다.

실험 결과

연구 질문

• RQ1 어떻게 서rogate 모델과 적응형 샘플링을 효과적으로 조합하여 블랙박스 최적화에서 비용이 많이 드는 함수 평가 횟수를 최소화할 수 있는가?
• RQ2 다중 모odal, 비용이 많이 드는 최적화 문제에서 국소 정밀화와 전역 탐색을 균형 있게 유지하는 데 가장 효과적인 샘플링 전략은 무엇인가?
• RQ3 서rogate 모델을 사용할 때 병렬 계산이 런타임을 얼마나 줄일 수 있는가?
• RQ4 혼합정수형 및 순수 정수형 변수 문제를 다룰 수 있도록 서rogate 모델 기반 알고리즘은 어떻게 적응시킬 수 있는가?
• RQ5 서rogate 모델 선택 및 앙상블 전략은 전역 최적화에서 수렴성과 해의 품질에 어떤 영향을 미치는가?

주요 결과

• MATSuMoTo는 유일하게 연속형, 혼합정수형, 순수 정수형 최적화 문제를 서rogate 모델을 사용해 지원하는 도구상자이다.
• 이 도구상자는 점근적 완전성을 달성하여 이상적인 조건 하에서 전역 최적해로 수렴할 확률이 1이 된다.
• 여러 워커가 이용 가능한 경우 병렬 평가 기능이 런타임을 크게 단축시키며, 특히 초도 설계 및 반복적 샘플링 단계에서 두드러진다.
• 서rogate 모델 최소값 기반 샘플링 전략(SurfMin)과 최소 거리 최대화 전략의 조합은 탐색 영역의 미탐색 영역을 더 효과적으로 탐색한다.
• 적응형 펌프 메커니즘이 반복적인 실패 후에 검색 강도를 동적으로 조정함으로써 국소 최적해에 갇히는 것을 방지한다.
• 서rogate 모델 구축에 따른 계산 오버헤드는 비용이 많이 드는 함수 평가에 비해 무시할 만큼 작아, 평가에 분 또는 시간이 소요되는 문제에 대해 MATSuMoTo는 이상적인 도구이다.