[논문 리뷰] Joint Entropy Search for Multi-objective Bayesian Optimization

Ben Tu, Axel Gandy외 2명|arXiv (Cornell University)|2022. 10. 06.

Advanced Multi-Objective Optimization Algorithms인용 수 13

한 줄 요약

이 논문은 최적의 입력과 출력에 대한 연합 정보 수확을 최대화하는 다목적 베이지안 최적화를 위한 새로운 정보이론적 할당 함수인 공동 엔트로피 탐색(Joint Entropy Search, JES)을 제안한다. 페어레토 최적 집합의 불확실성을 모델링하고 분석적으로 다룰 수 있는 근사치를 사용함으로써, JES는 샘플 효율성을 향상시키며, 초과체적량 및 가중 초과체적량 지표를 사용한 시뮬레이션 및 실제 문제에서 뛰어난 성능을 보여준다.

ABSTRACT

Many real-world problems can be phrased as a multi-objective optimization problem, where the goal is to identify the best set of compromises between the competing objectives. Multi-objective Bayesian optimization (BO) is a sample efficient strategy that can be deployed to solve these vector-valued optimization problems where access is limited to a number of noisy objective function evaluations. In this paper, we propose a novel information-theoretic acquisition function for BO called Joint Entropy Search (JES), which considers the joint information gain for the optimal set of inputs and outputs. We present several analytical approximations to the JES acquisition function and also introduce an extension to the batch setting. We showcase the effectiveness of this new approach on a range of synthetic and real-world problems in terms of the hypervolume and its weighted variants.

연구 동기 및 목표

• 함수 평가가 비용이 많이 들고 노이즈가 많은 상황에서 샘플 효율적인 다목적 최적화 문제를 해결하기 위해.
• 최적의 입력과 출력에 대한 연합 불확실성을 반영하는 할당 함수를 개발하여, 하나의 요소에 집중하는 것이 아니라 둘 다를 고려하기 위해.
• 스칼라화 기반 또는 향상 기반 할당 함수가 편향이나 열악한 탐색으로 인해 악영향을 받을 수 있는 점을 고려해, 원칙적이고 정보이론적인 대안을 제공하기 위해.
• 목표의 재매개변수화에 대해 불변성을 확보하여, 목표의 척도나 변환에 대해 강건한 방법을 만들기 위해.
• 더 넓은 실용적 적용 가능성을 확보하기 위해 배치, 제약 조건, 분리된 평가 설정으로의 확장을 위해.

제안 방법

• 최적의 입력과 출력에 대한 연합 사후 분포의 엔트로피 감소를 예측하는 데 사용되는 할당 함수인 공동 엔트로피 탐색(JES)을 제안한다.
• 조건부 엔트로피 추정과 상자 분해 기법을 사용하여 JES 할당 함수의 분석적 근사치인 JES-LB2와 JES-0를 유도한다.
• 정보 수확을 다중 동시 평가로 일반화하여 JES의 배치 확장을 제안한다.
• 불등식 제약 조건을 누적분포함수(CDF)의 타당 영역에 통합함으로써 제약 조건이 있는 최적화에 JES를 적응시킨다.
• JES-LB2와 MES-LB2가 목표 간에 가감 가능하다는 점을 보여주어, 개별 목표에 대한 선택적 쿼리가 가능하도록 함으로써 분리된 평가를 가능하게 한다.
• 비용 가중 친화도 모델링과 조건부 엔트로피 분해를 결합하여 JES를 다친도(multi-fidelity) 설정으로 확장한다.

실험 결과

연구 질문

• RQ1 최적의 입력과 출력에 대한 불확실성을 동시에 모델링하는 할당 함수가 다목적 베이지안 최적화에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 JES는 스칼라화 기반 및 향상 기반 할당 함수와 비교할 때 수렴 속도와 초과체적량 성능 측면에서 어떻게 성능을 내는가?
• RQ3 JES는 목표의 재매개변수화에 대해 어느 정도 불변성을 보이며, 이는 고차원 또는 척도가 맞지 않는 문제에서 강건성에 어떤 영향을 미치는가?
• RQ4 이론적 기반을 유지하면서 JES를 배치, 제약 조건, 분리된 평가 설정으로 효과적으로 확장할 수 있는가?
• RQ5 제안된 가중 초과체적량 지표는 표준 초과체적량보다 다목적 최적화 성능 평가에 더 세밀한 평가를 제공하는가?

주요 결과

• JES는 시뮬레이션 및 실제 문제의 최첨단 기준보다 뛰어난 초과체적량 향상 성능을 보이며, 특히 초기 반복 단계에서 두각을 나타낸다.
• JES의 분석적 근사치인 JES-LB2와 JES-0는 미분 가능하고 계산적으로 다룰 수 있어 기울기 기반 방법을 통한 효율적 최적화가 가능하다.
• JES는 목표의 재매개변수화에 대해 불변성을 보이며, 많은 향상 기반 지표와 달리 목표의 척도나 변환에 대해 강건하다.
• 부록에서 제안한 가중 초과체적량 전략은 목표 공간의 다양한 영역에서의 성능 평가를 더 세밀하게 가능하게 한다.
• 제약 조건이 있는 최적화로의 확장은 효과적이며, 타당 영역을 상자로 분해하여 제약 조건이 있는 CDF와 정보 수확을 계산하는 데 성공했다.
• JES의 분리된 평가 변형은 선택적 목표 쿼리에 대해 이론적으로 호환 가능하지만, 현재 벤치마크에서는 전체 평가 대비 실질적인 성과 향상은 미미한 편이다.