[논문 리뷰] Cross-Entropy Method Variants for Optimization

Robert J. Moss|arXiv (Cornell University)|2020. 09. 18.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 5

한 줄 요약

이 논문은 다모달성이고 계산적으로 비용이 큰 문제에서 최적화를 향상시키기 위해 교차 엔트로피 방법의 CE-surrogate 및 CE-mixture 변형을 제안한다. 가우시안 프로세스 서rogate 모델링과 가우시안 믹스처 사전 분포를 통합함으로써 국소 최소값 수렴을 줄이고, 동일한 수의 진짜 목표 함수 평가를 유지하면서도, 실험에서 CE-surrogate가 뛰어난 성능을 보였다.

ABSTRACT

The cross-entropy (CE) method is a popular stochastic method for optimization due to its simplicity and effectiveness. Designed for rare-event simulations where the probability of a target event occurring is relatively small, the CE-method relies on enough objective function calls to accurately estimate the optimal parameters of the underlying distribution. Certain objective functions may be computationally expensive to evaluate, and the CE-method could potentially get stuck in local minima. This is compounded with the need to have an initial covariance wide enough to cover the design space of interest. We introduce novel variants of the CE-method to address these concerns. To mitigate expensive function calls, during optimization we use every sample to build a surrogate model to approximate the objective function. The surrogate model augments the belief of the objective function with less expensive evaluations. We use a Gaussian process for our surrogate model to incorporate uncertainty in the predictions which is especially helpful when dealing with sparse data. To address local minima convergence, we use Gaussian mixture models to encourage exploration of the design space. We experiment with evaluation scheduling techniques to reallocate true objective function calls earlier in the optimization when the covariance is the largest. To test our approach, we created a parameterized test objective function with many local minima and a single global minimum. Our test function can be adjusted to control the spread and distinction of the minima. Experiments were run to stress the cross-entropy method variants and results indicate that the surrogate model-based approach reduces local minima convergence using the same number of function evaluations.

연구 동기 및 목표

• 다모달 최적화 문제에서 교차 엔트로피 방법이 국소 최소값으로 수렴하는 경향을 해결하기 위해.
• 믿음 업데이트를 보완하기 위해 서rogate 모델링을 사용하여 진짜 목표 함수 평가의 의존도를 줄이기 위해.
• 설계 공간의 탐색을 향상시키기 위해 사전 분포를 표현하기 위해 가우시안 믹스처 모델을 사용하기 위해.
• 공분산이 가장 큰 시점에 진짜 함수 호출을 조기에 재할당함으로써 평가 스케줄링을 최적화하기 위해.
• 다양한 최소값 간격과 구분 정도를 갖는 문제에 대해 체계적으로 성능을 평가할 수 있도록 조절 가능한 테스트 함수를 개발하기 위해.

제안 방법

• CE-surrogate 변형은 목표 함수의 서rogate 모델을 구축하기 위해 가우시안 프로세스를 사용하여 희소 데이터로부터 불확실성 인식 예측이 가능하도록 한다.
• CE 방법의 엘리트 샘플을 사용해 서rogate 모델을 훈련시키며, 이후 샘플링을 이끌고 진짜 평가의 필요성을 줄인다.
• 평가 스케줄링은 기하학적 또는 균일 분포를 통해 구현되며, 공분산이 큰 초기 반복 단계에서 진짜 함수 호출을 우선시한다.
• CE-mixture 변형은 사전 분포를 가우시안 믹스처로 모델링하며, 각 엘리트 샘플이 구성 요소를 정의함으로써 경쟁적인 국소 최적해 탐색을 촉진한다.
• 표준 CE 방법의 서브루틴 호출을 사용해 학습된 서rogate 모델을 기반으로 믹스처 모델을 최적화함으로써 탐색과 이용의 조합을 이룬다.
• 최소값 간격과 구분 정도를 제어할 수 있는 매개변수화된 테스트 함수 sierra를 도입하여 다양한 문제 구성에서의 체계적 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 서rogate 모델링은 동일한 수의 진짜 목표 함수 평가를 유지하면서 교차 엔트로피 방법의 국소 최소값 수렴을 줄일 수 있는가?
• RQ2 진짜 평가가 제한되고 공분산이 클 경우 평가 스케줄링은 수렴에 어떤 영향을 미치는가?
• RQ3 가우시안 믹스처 모델을 사전 분포로 사용하면 다모달 최적화에서 전역 최소값 탐색에 도움이 되는가?
• RQ4 제안된 변형들은 표준 CE 방법에 비해 수렴 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ5 서rogate 모델링과 믹스처 사전 분포를 결합함으로써 CE 방법의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• CE-surrogate 변형은 표준 CE 방법보다 일관되게 뛰어난 성능을 보였으며, 동일한 수의 진짜 평가를 통해 더 낮은 평균 목표 값(예: 실험 1C에서 -0.0156 대비 -0.0065)을 달성했다.
• 초기 평균이 멀리 떨어져 있는 경우 CE 방법은 조기에 수렴했지만, CE-surrogate와 CE-mixture는 더 나은 성능을 유지했으며, 특히 CE-surrogate가 가장 일관된 향상을 보였다.
• 희소 설정에서 균일 평가 스케줄이 기하학적 스케줄보다 우수했으며, 이는 조기에 균일하게 진짜 호출을 배분하는 것이 유리함을 시사한다.
• CE-surrogate는 실험 1C에서 런타임 0.474초를 기록했으며, CE-mixture(2.57초)보다 훨씬 빠르게, 수렴 품질에서도 표준 CE 방법을 능가했다.
• CE-surrogate 방법은 실험 1C에서 평가 스케줄링이 조기 집중되어 있음에도 불구하고 반복 9회에서 정지했지만, 여전히 표준 CE 방법보다 더 나은 결과를 달성했다.
• 매개변수화된 sierra 함수는 최소값 간격과 구분 정도를 제어할 수 있게 하여 다양한 문제 구성에서 제안된 변형의 강건성을 검증하는 데 기여했다.