[논문 리뷰] Faster Computation of Expected Hypervolume Improvement

Iris Hupkens, Michael Emmerich외 1명|arXiv (Cornell University)|2014. 08. 29.

Advanced Multi-Objective Optimization Algorithms참고 문헌 33인용 수 11

한 줄 요약

이 논문은 다목적 최적화에서 기대 히퍼볼륨 개선도(EHVI)의 정확한 계산을 위한 새로운 알고리즘을 제안하며, 이는 이차목적 문제에 대해 O(n²)으로, 삼차목적 문제에 대해 O(n³)으로 시간 복잡도를 감소시킨다. 효율적인 데이터 구조와 배치 처리를 활용하여 몬테카를로 방법의 느린 성능을 대체함으로써 베이지안 글로벌 최적화 프레임워크에서 실용적으로 사용할 수 있도록 빠르고 정확한 EHVI 평가를 가능하게 한다.

ABSTRACT

The expected improvement algorithm (or efficient global optimization) aims for global continuous optimization with a limited budget of black-box function evaluations. It is based on a statistical model of the function learned from previous evaluations and an infill criterion - the expected improvement - used to find a promising point for a new evaluation. The `expected improvement' infill criterion takes into account the mean and variance of a predictive multivariate Gaussian distribution. The expected improvement algorithm has recently been generalized to multiobjective optimization. In order to measure the improvement of a Pareto front quantitatively the gain in dominated (hyper-)volume is used. The computation of the expected hypervolume improvement (EHVI) is a multidimensional integration of a step-wise defined non-linear function related to the Gaussian probability density function over an intersection of boxes. This paper provides a new algorithm for the exact computation of the expected improvement to more than two objective functions. For the bicriteria case it has a time complexity in $O(n^2)$ with $n$ denoting the number of points in the current best Pareto front approximation. It improves previously known algorithms with time complexity $O(n^3 \log n)$. For tricriteria optimization we devise an algorithm with time complexity of $O(n^3)$. Besides discussing the new time complexity bounds the speed of the new algorithm is also tested empirically on test data. It is shown that further improvements in speed can be achieved by reusing data structures built up in previous iterations. The resulting numerical algorithms can be readily used in existing implementations of hypervolume-based expected improvement algorithms.

연구 동기 및 목표

• 다목적 최적화에서 기대 히퍼볼륨 개선도(EHVI)를 더 빠르고 정확하게 계산할 수 있는 알고리즘을 개발하기.
• 이차목적 문제에서 EHVI 계산의 시간 복잡도를 이전의 O(n³ log n)에서 O(n²)로 감소시키기.
• 특히 삼차목적 문제를 포함하여 두 개 이상의 목표에 대해 정확한 EHVI 계산을 확장하기.
• 계산 효율성을 향상시켜 EHVI를 효율적 글로벌 최적화(EGO)에서의 인플레어 기준으로 실용적으로 구현할 수 있도록 하기.
• 새로운 알고리즘을 몬테카를로 적분과 비교하여 실증 기준에서의 타당성과 속도를 입증하기.

제안 방법

• 이차목적 최적화에서 O(n²) 시간 복잡도를 갖는 정확한 EHVI 계산을 위한 새로운 알고리즘을 제안하며, 이는 파레토 경계 점들의 체계적인 데이터 처리에 기반한다.
• m차원 공간에서 EHVI 계산을 위한 일반적인 알고리즘을 도입하고, 특히 삼차목적 문제에 최적화된 구현을 제공한다.
• 선형 데이터 구조와 기하학적 분해를 활용하여 상자 교차 영역에서 단계적 비선형 함수의 다차원 적분을 계산한다.
• 다중 후보 점에 걸쳐 EHVI 계산을 더욱 가속화하기 위해 배치 평가와 데이터 구조 캐싱을 활용한다.
• 특히 반복 최적화 루프에서 이전 반복의 중간 결과를 재사용하여 중복 계산을 줄인다.
• 몬테카를로 적분과의 비교를 통해 정확성을 검증하고, 합성 테스트 데이터에서 성능을 측정한다.

실험 결과

연구 질문

• RQ1 이차목적 최적화에서 정확한 EHVI 계산의 시간 복잡도를 O(n³ log n) 이하로 낮출 수 있는가?
• RQ2 이차목적 문제에서 정확한 EHVI 계산의 이론적 하한 복잡도는 무엇인가?
• RQ3 세 개 이상의 목표에서 정확하고 효율적으로 EHVI를 계산하는 것은 가능한가, 특히 삼차원에서의 경우에 대해?
• RQ4 속도와 정확도 측면에서 새로운 정확한 EHVI 알고리즘은 몬테카를로 방법보다 어떻게 비교되는가?
• RQ5 여러 EHVI 평가 간 데이터 구조 재사용이 전체 계산 효율성 향상에 상당한 기여를 할 수 있는가?

주요 결과

• 제안된 알고리즘은 이차목적 EHVI 계산에서 O(n²) 시간 복잡도를 달성하여 이전의 O(n³ log n) 기준에 비해 크게 향상되었다.
• 삼차목적 최적화에서는 O(n³) 시간 복잡도를 달성하여 고차원에서의 정확한 계산이 가능해졌다.
• 실증 결과에 따르면, n ≈ 20 정도의 작은 크기에서도 기존의 난이도 높은 O(n³ log n) 접근보다 빠른 성능를 보였다.
• 삼차원에서 파레토 경계 근사치의 크기가 30인 경우, 2.5초 안에 100개 이상의 EHVI 평가를 수행할 수 있었다.
• 데이터 구조 재사용을 통한 배치 평가로 후보 점 수에 비례하여 계산 시간이 선형적으로 감소하여 반복 최적화에서 실용적인 속도 향상을 제공했다.
• 몬테카를로 적분과의 비교를 통해 구현의 정확성과 정확도를 확인하였으며, 속도 측면에서 확실한 승리를 거두었다.