[논문 리뷰] Black-Box Optimization with Local Generative Surrogates

S. Shirobokov, V. Belavin외 3명|arXiv (Cornell University)|2020. 02. 11.

Advanced Multi-Objective Optimization Algorithms참고 문헌 58인용 수 23

한 줄 요약

이 논문은 파arameter 공간의 이웃 영역에서 깊이 있는 생성 모델을 국소 서 surrogate로 사용하여, 미분 불가능하고 확률적인 시뮬레이터를 최적화하기 위한 기울기 기반 방법인 국소 생성 서 surrogate 최적화(L-GSO)를 제안한다. 이 방법은 저분산 기울기 추정을 가능하게 하며, 베이지안 최적화, 수치 미분, 스코어 함수 추정기보다 빠른 수렴을 달성한다. 특히 시뮬레이터 파라미터가 저차원 부분다양체 위에 있을 경우에 유의미하다.

ABSTRACT

We propose a novel method for gradient-based optimization of black-box simulators using differentiable local surrogate models. In fields such as physics and engineering, many processes are modeled with non-differentiable simulators with intractable likelihoods. Optimization of these forward models is particularly challenging, especially when the simulator is stochastic. To address such cases, we introduce the use of deep generative models to iteratively approximate the simulator in local neighborhoods of the parameter space. We demonstrate that these local surrogates can be used to approximate the gradient of the simulator, and thus enable gradient-based optimization of simulator parameters. In cases where the dependence of the simulator on the parameter space is constrained to a low dimensional submanifold, we observe that our method attains minima faster than baseline methods, including Bayesian optimization, numerical optimization, and approaches using score function gradient estimators.

연구 동기 및 목표

• 물리학 및 공학 분야에서 흔히 발생하는, 기댓값을 구하기 어려운 기존 기울기 기반 방법이 실패하는 확률적이고, 비미분 가능한 시뮬레이터 최적화 문제를 해결하기 위해.
• 특히 고차원 파라미터 공간에서 최적화를 위해 필요한 고비용 시뮬레이터 호출 수를 줄이기 위해.
• 고분산 또는 느린 수렴 문제를 겪는 기존의 기준 방법들인 베이지안 최적화, 수치 미분, 스코어 함수 추정기보다 향상된 성능을 달성하기 위해.
• 시뮬레이터 파라미터가 저차원 부분다양체 위에 제약을 받을 경우에 효과적으로 최적화를 수행하기 위해, 국소 서 surrogate 모델링을 활용하여 효율적인 탐색을 가능하게 하기 위해.
• 고곡률 목표 함수를 지원하고, 미분 가능한 생성 모델을 통해 저분산 기울기 분산을 유지하는, 확장 가능하고 병렬 처리가 가능한 방법을 제공하기 위해.

제안 방법

• L-GSO는 현재 파라미터 점 주변의 작은 이웃 영역에서 깊이 있는 생성 모델(예: Cramer GAN)을 국소 서 surrogate로 훈련한다.
• 이 서rogate 모델은 시뮬레이터의 확률적 출력 분포 $ p(\mathbf{y}|\mathbf{x};\bm{\psi}) $ 를 근사하여, 서rogate를 통해 역전파를 수행함으로써 $ \bm{\psi} $ 에 대한 목표 함수의 기울기를 추정할 수 있도록 한다.
• 최적화 단계마다 현재 $ \bm{\psi} $ 를 중심으로 한 이웃 영역에서 샘플링된 소량의 시뮬레이터 호출을 사용하여 새로운 국소 서rogate를 훈련함으로써, 전역 모델링에 비해 계산 비용을 감소시킨다.
• 이 방법은 목표 함수가 연속적이고 미분 가능하다고 가정하며, $ \bm{\psi} $ 는 연속 변수로 간주되며 필요에 따라 목표 함수를 서rogate에 통합할 수 있다.
• 조건부 생성 네트워크는 파라미터 차원 간의 상관관계를 학습하고 샘플링된 점들 사이를 보간함으로써, 수치 미분보다 훨씬 적은 샘플 수로 효과적인 기울기 추정을 가능하게 한다.
• 최적화 과정은 반복적으로 진행되며, 각 단계에서 국소 서rogate로부터 유도된 기울기를 사용해 $ \bm{\psi} $ 를 갱신하고, 새로운 이웃 영역에서 서rogate를 재훈련한다.

실험 결과

연구 질문

• RQ1 국소 생성 서 surrogate는 최소한의 시뮬레이터 호출로 확률적이고 비미분 가능한 시뮬레이터에 대해 효과적인 기울기 기반 최적화를 가능하게 할 수 있는가?
• RQ2 베이지안 최적화, 수치 미분, 스코어 함수 추정기와 비교해 L-GSO는 수렴 속도와 해의 품질 측면에서 어떻게 성능을 내는가?
• RQ3 실제 물리학 및 공학 응용에서 자주 관찰되듯이, 시뮬레이터 파라미터가 저차원 부분다양체 위에 있을 경우에 L-GSO는 뛰어난 성능을 발휘하는가?
• RQ4 서rogate 모델이 충분히 일반화되어 저분산 기울기 추정을 제공함으로써, 고분산 대안들보다 더 빠른 수렴을 이끌 수 있는가?
• RQ5 L-GSO는 고차원 파라미터 공간으로 확장될 수 있는가? 이 경우에도 효율성과 정확성을 유지할 수 있는가?

주요 결과

• L-GSO는 토이 문제와 실제 물리 시뮬레이션 모두에서 베이지안 최적화, 수치 미분, 스코어 함수 기반 방법보다 수렴 속도와 해의 품질 측면에서 뛰어난 성능을 보였다.
• 부분다양체 문제에서는 전체 파라미터 공간 차원보다 훨씬 적은 수의 파라미터 점을 서rogate에 사용함으로써 L-GSO가 가장 빠르게 수렴하였으며, 이는 기저의 다양체를 효과적으로 학습하고 있음을 시사한다.
• GEANT4를 사용한 고에너지 물리학 분야의 마그넷 설계 문제에서 L-GSO는 약 5,000회의 시뮬레이터 호출을 사용하여 이전의 베이지안 최적화 솔루션보다 목표 함수 값을 약 25% 낮게 달성했다.
• L-GSO로 최적화된 마그넷 설계는 BO로 최적화된 설계보다 더 짧고 가벼웠으며, 이는 실험적 효율성 향상과 비용 절감을 의미한다.
• 몇몇 부분다양체 문제에서 베이지안 최적화는 수렴하지 못했지만, L-GSO는 일관되게 성공을 거두었으며, 이는 복잡한 저곡률 파라미터 공간에서의 강건성을 입증한다.
• 이 방법은 저분산 기울기 추정, 고차원으로의 확장성, 고곡률 목표 함수 표면에 대한 적용 가능성을 보이며, 복잡한 과학적 시뮬레이터에 적합하다.