[논문 리뷰] Fast Exact Computation of Expected HyperVolume Improvement

Guang Zhao, Raymundo Arróyave외 1명|arXiv (Cornell University)|2018. 12. 18.

VLSI and Analog Circuit Testing참고 문헌 22인용 수 14

한 줄 요약

이 논문은 다목적 베이지안 최적화에서 기대 히퍼볼륨 개선도(EHVI)를 계산하기 위한 세 가지 새로운 정확한 알고리즘을 제안한다. 이 알고리즘들은 분해된 초직육면체 내에서 닫힌 형식의 적분 계산을 활용하여 상당한 속도 향상을 달성한다. CLM 기반 알고리즘은 m=3일 때 Θ(n log n)의 복잡도를 달성하며, WFG 기반 방법은 m>3일 때 계산을 100배 이상 빠르게 한다. 이로 인해 재료 발견과 같은 고비용 설계 공간에서의 실용적인 베이지안 최적화가 가능해진다.

ABSTRACT

In multi-objective Bayesian optimization and surrogate-based evolutionary algorithms, Expected HyperVolume Improvement (EHVI) is widely used as the acquisition function to guide the search approaching the Pareto front. This paper focuses on the exact calculation of EHVI given a nondominated set, for which the existing exact algorithms are complex and can be inefficient for problems with more than three objectives. Integrating with different decomposition algorithms, we propose a new method for calculating the integral in each decomposed high-dimensional box in constant time. We develop three new exact EHVI calculation algorithms based on three region decomposition methods. The first grid-based algorithm has a complexity of $O(m\cdot n^m)$ with $n$ denoting the size of the nondominated set and $m$ the number of objectives. The Walking Fish Group (WFG)-based algorithm has a worst-case complexity of $O(m\cdot 2^n)$ but has a better average performance. These two can be applied for problems with any $m$. The third CLM-based algorithm is only for $m=3$ and asymptotically optimal with complexity $Θ(n\log{n})$. Performance comparison results show that all our three algorithms are at least twice faster than the state-of-the-art algorithms with the same decomposition methods. When $m>3$, our WFG-based algorithm can be over $10^2$ faster than the corresponding existing algorithms. Our algorithm is demonstrated in an example involving efficient multi-objective material design with Bayesian optimization.

연구 동기 및 목표

• 고차원 다목적 최적화에서 정확한 EHVI 계산의 계산 비효율성을 해결하기 위해, 특히 m > 3일 경우에 초점을 맞춘다.
• 다양한 히퍼볼륨 분해 방법에 걸쳐 정확하고 효율적인 EHVI 적분을 계산할 수 있는 통합 프레임워크를 개발한다.
• 자료가 부족하고 시뮬레이션 중심인 도메인, 예를 들어 재료 과학 분야에서 실시간, 실용적인 베이지안 실험 설계를 가능하게 한다.
• 기존 최첨단 알고리즘에 비해 점근적으로 최적 또는 상당히 향상된 시간 복잡도를 달성한다.
• 베이지안 최적화를 활용한 자율적 재료 발견의 가속화 효과를 입증한다.

제안 방법

• 각 분해된 초직육면체 내에서 integrand를 상수 시간에 닫힌 형식으로 평가할 수 있도록 하는 새로운 적분 표현을 유도한다.
• 새로운 닫힌 형식의 적분을 세 가지 다른 히퍼볼륨 분해 방법(격자 기반, WFG 기반, CLM 기반)과 통합한다.
• 모든 목표 수 m에 적합한 O(m·n^m) 복잡도를 가진 격자 기반 알고리즘을 구현한다.
• 최악의 경우 O(m·2^n) 복잡도를 가지지만 평균적인 성능이 뛰어난 WFG 기반 알고리즘을 개발하며, 이는 모든 m에 적용 가능하다.
• 특히 m=3개의 목표에 대해 점근적으로 최적의 Θ(n log n) 복잡도를 달성하는 CLM 기반 알고리즘을 제안한다.
• 가우스 프로세스 대체 모델과 완전한 EHVI 최대화를 활용하여, 다목적 재료 설계를 위한 순차적 베이지안 최적화 파이프라인에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 각 분해된 초직육면체 내에서 integrand에 대한 닫힌 형식의 표현을 유도함으로써 정확한 EHVI 계산에서 상당한 속도 향상을 달성할 수 있는가?
• RQ2 다양한 분해 전략에 걸쳐 제안된 방법이 기존 최첨단 EHVI 알고리즘과 성능 및 복잡도 측면에서 어떻게 비교되는가?
• RQ3 제안된 알고리즘이 이전 방법이 비가역성이 높아지는 3개 이상의 목표를 가진 문제에 대해 효율적으로 확장 가능한가?
• RQ4 새로운 EHVI 계산 프레임워크는 재료 발견과 같은 고비용, 다목적 설계 공간에서 실시간, 실용적인 베이지안 최적화를 가능하게 하는가?
• RQ5 새로운 EHVI 계산 방식은 랜덤 샘플링과 비교했을 때 베이지안 최적화의 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 CLM 기반 알고리즘은 m=3일 때 Θ(n log n)의 시간 복잡도를 달성하며, 이는 이전의 전용 방법과 동일한 점근적 최적성과 일치하지만 더 일반적인 프레임워크를 제공한다.
• WFG 기반 알고리즘은 m > 3일 경우 기존 알고리즘 대비 EHVI 계산 시간을 두 자릿수 이상 감소시켜 100배 이상의 속도 향상을 달성한다.
• 제안된 세 알고리즘 모두 동일한 분해 방법을 사용하는 최첨단 대비 최소 두 배 이상의 빠른 속도를 확보한다.
• 실제 니티 니켈 티타늄(shape memory alloy) 설계 작업에서 CLM 기반 알고리즘은 완전한 EHVI 탐색 시간을 한 시간 이상에서 반복당 몇 초 이내로 단축시켰다.
• 새로운 EHVI 알고리즘을 활용한 베이지안 최적화는 무작위 샘플링 대비 페어레토 최적 해에 더 빠르게 수렴했으며, 20개의 초기 샘플 이후에 지배 히퍼볼륨이 급격히 향상되었다.
• 이 프레임워크는 자료가 부족하고 시뮬레이션 중심인 도메인에서 효율적이고 자율적이며 강력한 실험 설계를 가능하게 하며, 재료 과학을 넘어서도 넓은 적용 가능성을 지닌다.