[논문 리뷰] Efficient Multi-Objective Optimization through Population-based Parallel Surrogate Search

Taimoor Akhtar, Christine A. Shoemaker|arXiv (Cornell University)|2019. 03. 06.

Advanced Multi-Objective Optimization Algorithms참고 문헌 54인용 수 11

한 줄 요약

이 논문은 복잡한 목적 함수를 위한 병렬, 서rogate 기반 다목적 최적화 알고리즘인 MOPLS-N을 제안한다. 이 알고리즘은 반경 기반 함수(RBFs)와 인구 기반 탐색 전략을 사용하여 N개의 프로세서에서 동시에 평가할 수 있는 N개의 점을 효율적으로 선택한다. NSGA-III 및 ParEGO와 같은 최신 기법들보다 우수한 수렴성과 스피드업 성능을 보이며, 특히 16~64개의 프로세서와 고차원 문제에서 뛰어난 성능을 발휘한다.

ABSTRACT

Multi-Objective Optimization (MOO) is very difficult for expensive functions because most current MOO methods rely on a large number of function evaluations to get an accurate solution. We address this problem with surrogate approximation and parallel computation. We develop an MOO algorithm MOPLS-N for expensive functions that combines iteratively updated surrogate approximations of the objective functions with a structure for efficiently selecting a population of $N$ points so that the expensive objectives for all points are simultaneously evaluated on $N$ processors in each iteration. MOPLS incorporates Radial Basis Function (RBF) approximation, Tabu Search and local candidate search around multiple points to strike a balance between exploration, exploitation and diversification during each algorithm iteration. Eleven test problems (with 8 to 24 decision variables and two real-world watershed problems are used to compare performance of MOPLS to ParEGO, GOMORS, Borg, MOEA/D, and NSGA-III on a limited budget of evaluations with between 1 (serial) and 64 processors. MOPLS in serial is better than all non-RBF serial methods tested. Parallel speedup of MOPLS is higher than all other parallel algorithms with 16 and 64 processors. With both algorithms on 64 processors MOPLS is at least 2 times faster than NSGA-III on the watershed problems.

연구 동기 및 목표

• 제한된 함수 평가 횟수를 요구하는 계산 비용이 큰 시뮬레이션 기반 목적 함수에 대한 다목적 최적화(MOO) 문제에 도전한다.
• 많은 수의 비용이 많이 드는 함수 평가에 의존하는 전통적 MOO 알고리즘의 비효율성을 해결한다.
• 여러 후보 해를 동시에 선택하는 병렬, 인구 기반 알고리즘을 개발하여 벽시계 시간을 단축시킨다.
• 서rogate 모델링(특히 RBFs)과 국소 탐색, 탭류 메커니즘을 통합하여 탐색, 이용, 다양성 균형을 확보한다.
• 평가 예산 제약 조건 하에서 최첨단 MOO 알고리즘들인 NSGA-III, Borg, ParEGO와 비교해 뛰어난 성능을 입증한다.

제안 방법

• 비용이 많이 드는 목적 함수를 근사하기 위해 반경 기반 함수(RBFs)를 서rogate 모델로 사용하여 직접 평가에 의존도를 낮춘다.
• 비지배적 정렬과 적응형 반경 제약 조건, 탭류 목록을 사용하여 반복마다 N개의 중심점(중심점)을 선택하는 세대 기반 인구 기반 프레임워크를 구현한다.
• 각 N개의 중심점 주변에서 독립적이고 병렬적인 서rogate 지원 국소 탐색을 수행하여 N개의 새로운 후보 해를 생성한다.
• 주기지-노드 병렬 아키텍처를 사용하여 주기지가 중심점과 탭류 목록을 관리하고, 워커들이 비용이 많이 드는 목적 함수를 병렬로 평가한다.
• 이전에 평가되거나 유사한 점을 재방문하는 것을 방지하기 위해 탭류 검색을 통합하여 다양성을 향상시키고 국소 수렴을 피한다.
• 새로운 평가 결과를 반복적으로 업데이트하여 예측 정확도를 향상시키고 향후 탐색 방향을 안내한다.

실험 결과

연구 질문

• RQ1 인구 기반, 병렬 서rogate 최적화 알고리즘이 고비용 다목적 최적화에서 벽시계 시간을 크게 줄일 수 있는가?
• RQ2 RBF 서rogate 모델을 탭류 검색 및 국소 탐색과 통합함으로써, 제한된 함수 평가 횟수 조건에서 MOO의 수렴성과 다양성은 어떻게 향상되는가?
• RQ3 평가 제약 조건 하에서, MOPLS-N은 비서rogate 및 다른 서rogate 기반 MOO 알고리즘(예: ParEGO, NSGA-III)보다 히퍼볼륨과 수렴 속도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 16 및 64개의 프로세서와 같은 증가하는 병렬 프로세서 수에 따라, MOPLS-N은 합성 문제와 실제 문제 모두에서 어떻게 확장 가능한가?
• RQ5 MOPLS-N은 고차원 결정 공간을 가진 복잡한 실제 시뮬레이션 최적화 문제, 예를 들어 수문학적 유역 보정 문제를 효과적으로 해결할 수 있는가?

주요 결과

• MOPLS-N은 순차 모드에서 테스트된 모든 비RBF 순차 MOO 알고리즘, 즉 NSGA-III 및 Borg보다 히퍼볼륨 수렴 측면에서 뛰어난 성능을 보였다.
• 64개의 프로세서를 사용할 때, MOPLS-N은 두 개의 실제 수문학적 유역 보정 문제(TBROOK1 및 TBROOK2)에서 NSGA-III보다 최소 두 배 이상의 속도 향상을 달성했다.
• MOPLS-N은 효율적인 로드 밸런싱과 낮은 통신 오버헤드 덕분에, 테스트된 모든 병렬 알고리즘보다 뛰어난 병렬 스피드업 성능을 보였다. 특히 16 및 64개의 프로세서에서 두드러진 성능을 보였다.
• 8~24개의 决定 변수를 가진 11개의 테스트 문제에서 MOPLS-N은 수렴성과 다양성을 유지하였으며, 특히 고차원 문제에서 뛰어난 성능을 발휘했다.
• SWAT 기반 수문학적 유역 보정 문제에서 MOPLS-N은 ParEGO 및 NSGA-III를 포함한 모든 경쟁 알고리즘보다 더 나은 파레토 최적 해 근사치를 생성했다.
• pySOT 툴박스에 포함된 MOPLS-N의 오픈소스 구현은 재현 가능성과 향후 다른 서rogate 모델링 프레임워크로의 확장 가능성을 보장한다.