[논문 리뷰] Max-value Entropy Search for Multi-Objective Bayesian Optimization with Constraints

Syrine Belakaria, Aryan Deshwal외 1명|arXiv (Cornell University)|2020. 09. 01.

Advanced Multi-Objective Optimization Algorithms인용 수 13

한 줄 요약

이 논문은 출력 공간에서의 최대값 엔트로피 검색 원리를 기반으로 한 새로운 제약 조건이 있는 다목적 베이지안 최적화 방법인 MESMOC를 제안한다. 이 방법은 출력 공간에서 파레토 최적 해를 근사하기 위해 정보 수확량을 극대화하는 입력을 선택한다. 실세계 공학 응용 분야에서 기존 최첨단 기법들인 PESMOC, MOEAD, NSGA-II에 비해 더 낮은 함수 평가 횟수로 히퍼볼륨과 제약 조건 이행률을 크게 향상시킨다.

ABSTRACT

We consider the problem of constrained multi-objective blackbox optimization using expensive function evaluations, where the goal is to approximate the true Pareto set of solutions satisfying a set of constraints while minimizing the number of function evaluations. For example, in aviation power system design applications, we need to find the designs that trade-off total energy and the mass while satisfying specific thresholds for motor temperature and voltage of cells. This optimization requires performing expensive computational simulations to evaluate designs. In this paper, we propose a new approach referred as {\\em Max-value Entropy Search for Multi-objective Optimization with Constraints (MESMOC)} to solve this problem. MESMOC employs an output-space entropy based acquisition function to efficiently select the sequence of inputs for evaluation to uncover high-quality pareto-set solutions while satisfying constraints. We apply MESMOC to two real-world engineering design applications to demonstrate its effectiveness over state-of-the-art algorithms.

연구 동기 및 목표

• 공학 설계에서 비용이 많이 드는 제약 조건이 있는 다목적 블랙박스 최적화 문제를 해결하기 위해.
• 다중 제약 조건 하에서 진정한 파레토 집합을 근사하기 위해 필요한 함수 평가 횟수를 줄이기 위해.
• 기존의 입력 공간 엔트로피 기반 방법보다 더 효율적이고 정확한 획득 함수를 개발하기 위해.
• 전기 항공기 추진 시스템 및 아날로그 회로 설계와 같은 실세계 응용 분야에서 강력하고 확장 가능한 최적화를 가능하게 하기 위해.
• PESMOC 및 NSGA-II와 같은 최첨단 기법들에 비해 제약 조건 처리 능력과 수렴 속도를 향상시키기 위해.

제안 방법

• MESMOC는 출력 공간 엔트로피 기반 획득 함수를 사용하여, 최적의 파레토 최적 해에 대한 정보 수확량을 극대화하는 입력을 선택한다.
• 이 방법은 단일 목표 최적화에서의 최대값 엔트로피 검색(MES) 원리를 다목적 제약 조건 최적화로 확장한다.
• 목표 함수와 제약 조건을 가우시안 프로세스로 모델링하고, 효율적인 최적화를 위해 출력 공간에서의 정보 수확량을 계산한다.
• 샘플링 기반 근사법을 사용하여 엔트로피 수확량을 추정함으로써, 입력 공간 대비 더 빠르고 정밀한 계산이 가능해진다.
• DIRECT 알고리즘을 사용하여 획득 함수를 최적화함으로써 탐색과 이용의 균형을 이루며, 모든 제약 조건을 준수한다.
• 알고리즘은 반복적으로 평가할 새로운 점을 선택하고, 서rogate 모델을 갱신하며 파레토 최적 해 근사치를 정밀화한다.

실험 결과

연구 질문

• RQ1 출력 공간 엔트로피 검색은 제약 조건이 있는 다목적 최적화에서 입력 공간 엔트로피 검색보다 더 효율적이고 정확한 획득 함수를 제공할 수 있는가?
• RQ2 MESMOC는 히퍼볼륨과 제약 조건 이행률 측면에서 PESMOC, MOEAD, NSGA-II와 같은 최첨단 기법들과 비교해 어떻게 성능을 내는가?
• RQ3 실세계 공학 문제에서 MESMOC는 더 적은 비용이 드는 함수 평가 횟수로 높은 품질의 파레토 최적 해를 얼마나 잘 복원할 수 있는가?
• RQ4 MESMOC는 복잡한 제약 조건이 있는 이산 및 연속 설계 공간에서 어떻게 성능을 내는가?
• RQ5 MESMOC는 고차원적이고 제약 조건이 있는 다목적 최적화 과제에서 더 나은 수렴성과 강건성을 달성할 수 있는가?

주요 결과

• 전기 항공기 추진 시스템 설계에서 MESMOC는 50%의 제약 조건 이행률을 달성했으며, PESMOC(1.5%), MOEAD(9.5%), NSGA-II(7.5%)에 비해 뚜렷한 우월성을 보였다.
• 아날로그 회로 설계 과제에서 MESMOC는 88.81%의 변환 효율을 달성했으며, PESMOC 대비 12.61% 향상되고 NSGA-II 대비 17.86% 향상되었다.
• MESMOC는 모든 기준 기법보다 높은 히퍼볼륨을 가지는 파레토 최적 해를 복원하여, 이산 및 연속 설계 공간 모두에서 뛰어난 수렴성과 다양성 확보를 입증했다.
• 고품질의 해에 도달하기 위해 더 적은 함수 평가 횟수를 요구함으로써, 고비용 블랙박스 최적화에서의 샘플 효율성을 확인했다.
• MESMOC의 출력 공간 엔트로피 접근법은 PESMOC와 같은 입력 공간 기반 방법에 비해 더 정밀한 근사와 더 빠른 계산을 가능하게 했다.
• 아날로그 회로 영역에서 MESMOC는 다양한 하중 조건에서 전압 기준치를 0.52V에서 0.76V(1/3배율) 및 0.99V에서 1.17V(2/3배율) 범위 내에서 충족시키는 설계를 생성했다.