[논문 리뷰] PARyOpt: A software for Parallel Asynchronous Remote Bayesian Optimization

Balaji Sesha Sarath Pokuri, Alec Lofquist외 2명|arXiv (Cornell University)|2018. 09. 12.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

PARyOpt는 비용이 많이 들는 시뮬레이션 기반 최적화에서 벽 시계 시간을 줄이기 위해 병렬, 비동기, 원격 베이지안 최적화를 설계한 파이썬 기반 소프트웨어 프레임워크입니다. 함수 평가와 서rogate 업데이트를 분리함으로써 고장에 강건하고 실패에 저항하는 최적화를 가능하게 하며, 비동기 데이터 통합을 통해 최대 50% 빠른 최적화를 달성하고, 반응 표면 모델링을 위한 크리깅(Kriging)으로의 확장도 지원합니다.

ABSTRACT

PARyOpt is a python based implementation of the Bayesian optimization routine designed for remote and asynchronous function evaluations. Bayesian optimization is especially attractive for computational optimization due to its low cost function footprint as well as the ability to account for uncertainties in data. A key challenge to efficiently deploy any optimization strategy on distributed computing systems is the synchronization step, where data from multiple function calls is assimilated to identify the next campaign of function calls. Bayesian optimization provides an elegant approach to overcome this issue via asynchronous updates. We formulate, develop and implement a parallel, asynchronous variant of Bayesian optimization. The framework is robust and resilient to external failures. We show how such asynchronous evaluations help reduce the total optimization wall clock time for a suite of test problems. Additionally, we show how the software design of the framework allows easy extension to response surface reconstruction (Kriging), providing a high performance software for autonomous exploration. The software is available on PyPI, with examples and documentation.

연구 동기 및 목표

• 변동적이고 불확실한 함수 평가 시간을 가진 분산 HPC 환경에서 동기 최적화의 비효율성을 해결하기 위해.
• 하드웨어/네트워크 장애 및 작업 스케줄러 지연에 견딜 수 있는 확장성 있고 내구성이 있는 원격 베이지안 최적화 프레임워크를 개발하기 위해.
• 재료 및 화학공학 분야의 비용이 많이 드는 시뮬레이션 기반 설계 문제에 대해 효율적이고 적응형 샘플링을 가능하게 하기 위해.
• 자율 실험 설계를 위한 크리깅 기반의 반응 표면 재구성 기능을 확장하기 위해.
• 모듈러하고 확장 가능한 소프트웨어 스택을 제공하고, 오픈소스로 배포하며 철저한 문서화를 제공하기 위해.

제안 방법

• 함수 평가와 서rogate 모델 업데이트를 분리한 병렬 비동기 베이지안 최적화 알고리즘을 사용합니다.
• 제곱 지수 커널을 사용하는 가우시안 프로세스 서rogate와 예상 향상(Expected Improvement) 또는 하한 신뢰구간(Lower Confidence Bound, LCB)을 사용한 수집 함수를 활용해 적응형 샘플링을 수행합니다.
• 비동기 데이터 통합을 통해 늦게 도착하는 함수 평가도 최적화 루프를 차단하지 않고 통합할 수 있습니다.
• 모듈러한 구성 요소를 갖춘 파이썬 기반으로 구현되어 있어 최적화 컴포넌트를 쉽게 교체하거나 HPC 작업 스케줄러와 통합할 수 있습니다.
• 크리깅은 동일한 서rogate 모델링 프레임워크를 통해 지원되며, 커널 하이퍼파라미터 최적화를 위해 최대우도추정(MLE)을 사용하여 보다 정확한 보간을 달성합니다.
• 자동 재시도 로직과 장애 내성 기능을 갖추어 원격 및 분산 평가를 처리할 수 있도록 설계되어 있습니다.

실험 결과

연구 질문

• RQ1 변동적인 작업 완료 시간을 가진 HPC 환경에서 비동기 베이지안 최적화는 총 최적화 벽 시계 시간을 얼마나 줄일 수 있는가?
• RQ2 PARyOpt의 비동기 설계는 동기 대비 최적화 효율을 얼마나 향상시킬 수 있는가?
• RQ3 동일한 프레임워크가 베이지안 최적화와 크리깅 기반 반응 표면 모델링을 동시에 효율적으로 지원할 수 있는가?
• RQ4 원격 비동기 평가 조건에서 고차원 벤치마크 함수의 전역 최적해를 얼마나 효과적으로 찾을 수 있는가?
• RQ5 하이퍼파라미터 최적화(MLE를 통한)와 수집 함수 선택은 크리깅 정확도와 샘플링 효율성에 어떤 영향을 미치는가?

주요 결과

• 비동기 베이지안 최적화로 인해 기준 문제에서 동기 방법 대비 총 최적화 벽 시계 시간이 최대 50% 감소했습니다.
• 2차원 이상의 벤치마크 함수(Ackley, Rosenbrock, Rastrigin, Griewangk)에 대해 전역 최적해를 성공적으로 찾았으며, 최악의 경우 오차가 1.6e-4 이하였습니다.
• 20차원 문제에서는 찾은 최적해와 진짜 최적해 사이의 L∞ 거리가 6e-3 이하였으며, 확장성의 가능성을 입증했습니다.
• MLE로 최적화된 커널 파rameter를 사용한 크리깅 재구성은 최적화되지 않은 설정보다 훨씬 높은 서rogate 신뢰도와 정확도를 달성했습니다.
• 지속적으로 늦게 도착하거나 실패한 함수 평가에 대해도 프레임워크는 수렴성과 안정성을 유지하며 뛰어난 내구성을 보였습니다.
• 모듈러한 설계 덕분에 Kriging과 베이지안 최적화가 하나의 프레임워크 내에서 원활하게 통합되었으며, ReadTheDocs에 예제가 제공되어 있습니다.