[논문 리뷰] Predictive Entropy Search for Multi-objective Bayesian Optimization

Daniel Hernández-Lobato, José Miguel Hernández-Lobato외 2명|arXiv (Cornell University)|2015. 11. 17.

Advanced Multi-Objective Optimization Algorithms인용 수 49

한 줄 요약

PESMO는 파레토 집합에 대한 사후 분포의 엔트로피를 최소화하도록 평가 점을 선택하는 다목적 문제를 위한 베이지안 최적화 방법이다. 이는 할당 함수를 목적함수별 구성요소로 분해하여 평가를 분리하고, 목적수에 대해 선형적인 계산 복잡도 스케일링을 가능하게 하여, 특히 고차원 목적 공간에서 기존 방법보다 더 적은 함수 평가 수로 뛰어난 성능을 발휘한다.

ABSTRACT

We present PESMO, a Bayesian method for identifying the Pareto set of multi-objective optimization problems, when the functions are expensive to evaluate. The central idea of PESMO is to choose evaluation points so as to maximally reduce the entropy of the posterior distribution over the Pareto set. Critically, the PESMO multi-objective acquisition function can be decomposed as a sum of objective-specific acquisition functions, which enables the algorithm to be used in \emph{decoupled} scenarios in which the objectives can be evaluated separately and perhaps with different costs. This decoupling capability also makes it possible to identify difficult objectives that require more evaluations. PESMO also offers gains in efficiency, as its cost scales linearly with the number of objectives, in comparison to the exponential cost of other methods. We compare PESMO with other related methods for multi-objective Bayesian optimization on synthetic and real-world problems. The results show that PESMO produces better recommendations with a smaller number of evaluations of the objectives, and that a decoupled evaluation can lead to improvements in performance, particularly when the number of objectives is large.

연구 동기 및 목표

• 함수 평가가 비용이 많이 들고 노이즈가 많은 다수의 상충되는 목표를 최적화하는 데 도전한다.
• 기존 방법들이 스칼라화에 의존하거나 모든 목표를 동시에 평가해야 하며, 목표 수에 따라 지수적으로 증가하는 계산 복잡도를 가지는 한계를 극복한다.
• 사후 엔트로피를 최소화하여 파레토 집합에 대한 정보 수득을 극대화함으로써, 더 적은 평가 수로 효율적인 탐색을 가능하게 한다.
• 목표가 평가 비용이나 복잡도에서 다를 경우 특히 유리한, 목표를 독립적으로 평가할 수 있는 분리된 평가 시나리오를 가능하게 한다.
• 목표 수에 따라 계산 비용이 선형적으로 증가하도록 스케일링하여, 세 개 이상의 목표를 포함하는 문제에 대해 실용적인 방법이 되도록 한다.

제안 방법

• 파레토 집합에 대한 사후 분포의 엔트로피 감소 기대치를 할당 함수로 설정한다.
• 각 목표 함수를 모델링하기 위해 가우시안 프로세스를 사용하여 불확실성을 포착하고 확률적 추론를 가능하게 한다.
• 전체 할당 함수를 목표 수 K개의 개별 할당 함수의 합으로 분해하여, 각 목표를 별도로 평가할 수 있도록 한다.
• 예측 엔트로피 최소화를 통해 파레토 집합에 대한 정보 수득 기대치를 극대화함으로써 평가 점을 선택한다.
• 각 목표의 개별 할당 값에 기반해 반복마다 가장 정보가 많은 목표만 선택할 수 있도록 하여 분리된 평가를 지원한다.
• 할당 함수의 가산적 구조를 활용하여 목표 수에 따라 선형적으로 스케일링되도록 하여, 지수적 복잡도를 피하고 계산 비용을 효율적으로 관리한다.

실험 결과

연구 질문

• RQ1 파레토 집합에 대한 엔트로피 최소화는 기존의 정보이론적 또는 기대 개선 기반 방법보다 더 효율적인 베이지안 최적화를 이끌 수 있는가?
• RQ2 할당 함수를 목적함수별 구성요소로 분해하는 것이 다목적 최적화에서 효과적인 분리된 평가를 가능하게 하는가?
• RQ3 PESMO의 성능은 Hypervolume 및 수렴 속도 측면에서 ParEGO, SMS-EGO, Expected Hypervolume Improvement와 같은 최첨단 방법과 비교해 어떻게 되는가?
• RQ4 평가 비용이 다를 경우, PESMO는 어려운 목표를 효과적으로 식별하고 우선순위를 정할 수 있는가?
• RQ5 목표 수에 따라 계산 비용이 선형적으로 증가함으로써, PESMO는 세 개 이상의 목표를 포함하는 문제에 대해 지수적 비용을 가지는 대안들과 비교해 실용적인가?

주요 결과

• 신경망 아키텍처 탐색 작업에서 100회 평가 후 PESMO는 67.6 ± 0.1의 최고 히퍼볼륨을 기록하여, SUR의 분리된 버전과 결합된 PESMO를 포함한 모든 다른 방법들을 압도했다.
• 200회 평가 후 PESMO(결합 및 분리된 설정 모두)는 최고의 히퍼볼륨 67.8 ± 0.1을 달성했으며, 분리된 버전이 초기 수렴에서 略적 우위를 유지했다.
• PESMO의 분리된 버전은 예측 시간 목표를 몇 차례만 평가하여, 이 목표가 더 단순하고 정보가 적다는 것을 정확히 식별하고, 더 비용이 많이 드는 예측 오차 목표에 더 많은 자원을 할애했다.
• PESMO는 검증 세트에서 약 1.5%의 예측 오차를 가진 신경망을 발견하여, 고정밀도를 유지하면서도 빠른 추론 시간을 확보했다.
• 목표 수가 클 경우, 분리된 평가 설정이 결합된 평가에 비해 성능 향상이 뚜렷하게 나타났다.
• PESMO의 계산 비용은 목표 수에 따라 선형적으로 증가하며, ParEGO 및 SMS-EGO와 같이 지수적 증가를 보이는 방법들과는 대조적으로, 많은 목표를 포함하는 문제에 대해 실용적으로 적용 가능하다.