[논문 리뷰] NOMAD version 4: Nonlinear optimization with the MADS algorithm

Charles Audet, Sébastien Le Digabel외 2명|arXiv (Cornell University)|2021. 04. 23.

Metaheuristic Optimization Algorithms Research참고 문헌 61인용 수 9

한 줄 요약

NOMAD 버전 4는 모듈형 알고리즘 구성 요소를 사용한 블랙박스 최적화 소프트웨어의 완전한 재설계를 도입하여 유지보수성, 확장성 및 효율적 병렬 처리를 향상시켰다. 새로운 아키텍처는 MegaSearchPoll, 온난/핫 재시작, 향상된 PsdMads와 같은 고급 기능을 지원하며, Solar 7과 같은 제약 조건이 있는 문제에서 8코어에서 최대 3.3배 빠른 솔루션 시간을 달성하면서도 버전 3와 동일한 수치 성능을 유지한다.

ABSTRACT

NOMAD is software for optimizing blackbox problems. In continuous development since 2001, it constantly evolved with the integration of new algorithmic features published in scientific publications. These features are motivated by real applications encountered by industrial partners. The latest major release of NOMAD, version 3, dates from 2008. Minor releases are produced as new features are incorporated. The present work describes NOMAD 4, a complete redesign of the previous version, with a new architecture providing more flexible code, added functionalities and reusable code. We introduce algorithmic components, which are building blocks for more complex algorithms, and can initiate other components, launch nested algorithms, or perform specialized tasks. They facilitate the implementation of new ideas, including the MegaSearchPoll component, warm and hot restarts, and a revised version of the PSD-MADS algorithm. Another main improvement of NOMAD 4 is the usage of parallelism, to simultaneously compute multiple blackbox evaluations, and to maximize usage of available cores. Running different algorithms, tuning their parameters, and comparing their performance for optimization is simpler than before, while overall optimization performance is maintained between versions 3 and 4. NOMAD is freely available at www.gerad.ca/nomad and the whole project is visible at github.com/bbopt/nomad.

연구 동기 및 목표

• NOMAD 버전 3에서 알고리즘 간의 강한 결합과 점점 증가하는 알고리즘 개선으로 인해 발생하는 복잡성과 유지보수 과제를 해결하기 위해.
• 미래 알고리즘 개발을 위한 코드 유지보수성, 재사용성, 확장성을 향상시키기 위해 모듈형, 구성 요소 기반 아키텍처로 NOMAD를 재설계하기 위해.
• 현대의 고코어 수를 가진 컴퓨팅 자원을 효율적으로 활용하기 위해 병렬 처리 및 스레드 수준 실행을 위한 내장 지원을 제공하기 위해.
• 수치 성능을 유지하거나 향상시키면서 소프트웨어의 유연성과 개발자 접근성에 상당한 향상을 주기 위해.
• 향후 릴리스에서 BiMads, RobustMads, 변수 이웃 탐색과 같은 고급 알고리즘 통합을 지원하기 위해.

제안 방법

• 복잡한 최적화 알고리즘을 구성하기 위한 재사용 가능하고 조합 가능한 빌딩 블록으로서의 알고리즘 구성 요소를 도입한다.
• 모듈성과 유지보수성을 향상시키기 위해 Mads 및 PsdMads와 같은 핵심 알고리즘을 구성 요소 기반 소프트웨어 아키텍처로 재구현한다.
• OpenMP와 MPI를 사용한 하이브리드 병렬 처리를 적용하여 스레드와 프로세스를 다중으로 지원함으로써 코어 활용도를 극대화한다.
• 다중 탐색 방향을 동시에 평가할 수 있도록 MegaSearchPoll 구성 요소를 통합하여 수렴 속도를 가속화한다.
• 공유된 초기화를 가진 다중 최적화 실행에서 성능을 향상시키기 위해 온난 및 핫 재시작을 지원한다.
• 구성 요소가 다른 구성 요소를 시작하거나 네스팅된 알고리즘을 실행하거나 특수 작업을 수행할 수 있도록 계층적 설계를 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 진화하는 알고리즘 혁신을 지원하면서도 백워드 호환성과 성능을 유지할 수 있는 블랙박스 최적화 소프트웨어를 재설계할 수 있는가?
• RQ2 유도 없는 최적화 분야에서 모듈형 구성 요소 기반 아키텍처가 소프트웨어 유지보수성과 확장성에 얼마나 기여할 수 있는가?
• RQ3 MegaSearchPoll 및 다중 스레드 실행과 같은 고급 병렬 처리 기능의 통합이 솔루션 시간과 확장성에 어떤 영향을 미치는가?
• RQ4 기존의 성능 저하 없이 신규 아키텍처가 현대의 고코어 수 클러스터를 효율적으로 활용할 수 있는가?
• RQ5 실제 제약 조건이 있는 최적화 문제에서 재설계된 NOMAD v4를 통해 달성 가능한 성능 향상은 어느 정도인가?

주요 결과

• NOMAD 4의 PsdMads 구현은 NOMAD 3의 성능을 초월하며, NOMAD 4에서 시행한 30회 시험 중 가장 열악한 결과도 NOMAD 3의 최고 성능를 뛰어넘었다.
• Solar 7 문제에서 NOMAD 4는 8코어와 MegaSearchPoll를 사용하여 싱글코어 실행 대비 최대 3.3배 빠른 솔루션 시간을 달성했다.
• 데이터 프로파일 분석 결과, 8코어와 MegaSearchPoll를 사용한 NOMAD 4는 싱글코어 실행보다 더 빠르게 더 우수한 목적 함수 값을 도달했다.
• 스피드업 분석 결과, 병렬 실행이 월클락 시간을 상당히 감소시켰으며, 8코어와 MegaSearchPoll 구성 요소를 동시에 사용했을 때 가장 낮은 월클락 시간을 기록했다.
• 새로운 아키텍처는 수천 개의 코어를 효율적으로 활용할 수 있게 하여 이전 버전이 현대의 HPC 환경에서 확장성에 한계를 가졌던 문제를 해결했다.
• NOMAD 3과 NOMAD 4 간의 수치 성능는 유지되었으며, 수렴성이나 솔루션 품질에 악영향을 주지 않았다.