[논문 리뷰] Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints

Daniel Fernández-Sánchez, Eduardo C. Garrido‐Merchán외 1명|arXiv (Cornell University)|2020. 11. 02.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

MESMOC+는 기능 공간에서 파레토 경계의 엔트로피를 최소화함으로써 제약 조건이 있는 다목적 베이지안 최적화를 위한 새로운 수집 함수이다. 이는 선형 계산 비용을 가진 정보 이론적 탐색을 효율적으로 가능하게 하며, 이전 방법들보다 엔트로피 추정 정확도와 최적화 성능에서 뛰어나다. 특히 평가를 분리한 설정에서, 입력 위치와 평가할 블랙박스를 동적으로 선택할 수 있다.

ABSTRACT

We present MESMOC+, an improved version of Max-value Entropy search for Multi-Objective Bayesian optimization with Constraints (MESMOC). MESMOC+ can be used to solve constrained multi-objective problems when the objectives and the constraints are expensive to evaluate. MESMOC+ works by minimizing the entropy of the solution of the optimization problem in function space, i.e., the Pareto frontier, to guide the search for the optimum. The cost of MESMOC+ is linear in the number of objectives and constraints. Furthermore, it is often significantly smaller than the cost of alternative methods based on minimizing the entropy of the Pareto set. The reason for this is that it is easier to approximate the required computations in MESMOC+. Moreover, MESMOC+'s acquisition function is expressed as the sum of one acquisition per each black-box (objective or constraint). Thus, it can be used in a decoupled evaluation setting in which one chooses not only the next input location to evaluate, but also which black-box to evaluate there. We compare MESMOC+ with related methods in synthetic and real optimization problems. These experiments show that the entropy estimation provided by MESMOC+ is more accurate than that of previous methods. This leads to better optimization results. MESMOC+ is also competitive with other information-based methods for constrained multi-objective Bayesian optimization, but it is significantly faster.

연구 동기 및 목표

• 비용이 많이 드는 다수의 목표 함수를 제약 조건 하에서 베이지안 최적화를 통해 최적화하는 데 도전한다.
• 다목적 및 제약 조건이 있는 설정에서 엔트로피 기반 수집 함수의 계산 비용을 낮춘다.
• 각 반복에서 평가할 입력 위치와 블랙박스를 별도로 선택할 수 있도록 분리 평가를 가능하게 한다.
• 기존 방법들에 비해 파레토 경계의 엔트로피 추정 정확도를 향상시킨다.
• 낮은 반복당 계산 비용을 유지하면서 더 적은 평가 횟수로도 더 나은 최적화 성능을 달성한다.

제안 방법

• 제약 조건이 있는 다목적 최적화에 특화된 개선된 최대값 엔트로피 검색(MES) 프레임워크(MESMOC+)를 제안한다.
• 목표 함수와 제약 조건을 가우시안 프로세스로 모델링하여 입력 공간의 탐색되지 않은 영역에서의 불확실성을 추정한다.
• 수집 함수를 기능 공간에서 파레토 경계의 엔트로피 감소 기대값으로 정의한다.
• 각 블랙박스(목표 함수 또는 제약 조건)의 기여도 합으로 수집 함수를 표현함으로써 분리 평가를 가능하게 한다.
• 불가항력적인 엔트로피 감소를 몬테카를로 샘플링을 통해 근사하며, 목표 함수와 제약 조건의 수에 대해 선형 계산 비용을 갖는다.
• 결합 평가 모드와 분리 평가 모드를 모두 지원한다. 후자의 경우, 평가할 위치뿐 아니라 각 지점에서 평가할 블랙박스까지도 선택한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 수집 함수는 다목적 최적화에 제약 조건이 있을 경우에도 저비용을 유지하면서 효율적으로 확장될 수 있는가?
• RQ2 MESMOC+의 파레토 경계 엔트로피 추정 정확도는 제약 조건이 있는 다목적 설정에서 기존 방법들과 비교해 어떻게 되는가?
• RQ3 MESMOC+의 분리 평가 기능은 동일한 평가 횟수에서 최적화 성능을 향상시키는가?
• RQ4 MESMOC+는 제약 조건이 있는 다목적 베이지안 최적화를 위한 최신 정보 이론적 방법들보다 효율성과 수렴 속도에서 뛰어나게 되는가?
• RQ5 실제 문제에서 MESMOC+는 PESMOC와 RANDOM과 같은 기준 방법들보다 더 나은 초체적 부피를 달성할 수 있는가?

주요 결과

• MESMOC+는 이전 방법들보다 훨씬 더 정확한 엔트로피 추정을 달성하여 더 나은 최적화 결과를 이끌어낸다.
• MESMOC+의 분리 평가 버전은 결합 평가 버전을 능가하여 동일한 평가 횟수로 더 높은 초체적 부피를 달성한다.
• 신경망 하이퍼파rameter 튜닝 과제에서, PESMOC${}_{\text{dec}}$는 100회의 평가 후 가장 높은 초체적 부피를 기록했고, 그 다음으로 MESMOC+${}_{\text{dec}}$가 뒤를 이었다.
• 100회의 평가 후 MESMOC+${}_{\text{dec}}$와 PESMOC${}_{\text{dec}}$의 성능 격차는 극히 미미하여 강력한 수렴 성능을 보였다.
• MESMOC+${}_{\text{dec}}$는 대부분의 평가를 예측 오차 블랙박스에 집중시켰으며, 이는 그 블랙박스의 최적화 난이도가 높다는 것을 반영한다.
• MESMOC+는 목표 함수와 제약 조건의 수에 대해 선형 비용을 가지므로, 경쟁 정보 기반 방법들보다 반복당 훨씬 더 빠르다.