[논문 리뷰] Pareto Set Learning for Expensive Multi-Objective Optimization

Xi Lin, Zhiyuan Yang외 2명|arXiv (Cornell University)|2022. 10. 16.

Advanced Multi-Objective Optimization Algorithms인용 수 23

한 줄 요약

PSL은 trade-off 선호도에서 전체 Pareto 집합으로의 매개변수 매핑을 학습하여 효율적인 배치 MOBO 및 한정 평가 하에서 유연한 의사결정을 가능하게 한다.

ABSTRACT

Expensive multi-objective optimization problems can be found in many real-world applications, where their objective function evaluations involve expensive computations or physical experiments. It is desirable to obtain an approximate Pareto front with a limited evaluation budget. Multi-objective Bayesian optimization (MOBO) has been widely used for finding a finite set of Pareto optimal solutions. However, it is well-known that the whole Pareto set is on a continuous manifold and can contain infinite solutions. The structural properties of the Pareto set are not well exploited in existing MOBO methods, and the finite-set approximation may not contain the most preferred solution(s) for decision-makers. This paper develops a novel learning-based method to approximate the whole Pareto set for MOBO, which generalizes the decomposition-based multi-objective optimization algorithm (MOEA/D) from finite populations to models. We design a simple and powerful acquisition search method based on the learned Pareto set, which naturally supports batch evaluation. In addition, with our proposed model, decision-makers can readily explore any trade-off area in the approximate Pareto set for flexible decision-making. This work represents the first attempt to model the Pareto set for expensive multi-objective optimization. Experimental results on different synthetic and real-world problems demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 평가가 비용이 많이 드는 다목적 최적화 문제의 동기를 제시한다.
• 전체 Pareto 집합 전체를 근사하는 방법을 제안한다.
• 선호도를 Pareto 해(solution)들로 매핑하여 유연한 의사결정을 가능하게 한다.
• 가볍고 배치 가능한 획득 절차를 제공한다.
• 합성 벤치마크와 실제 엔지니어링 문제에서 효과를 보여준다.

제안 방법

• 향상된 Tchebycheff 스칼라화를 통해 trade-off 선호도에서 Pareto 해(solution)로 매핑하는 집합 모델을 도입한다.
• 신경망(MLP)을 Pareto 해 모델로 사용하여 선호도 단순집합의 임의의 lambda에 대해 x(lambda)을 출력한다.
• 각 목적에 대해 가우시안 프로세스 대리모를 사용하고 theta 매개변수의 그래디언트 기반 최적화를 통해 모델을 학습한다.
• 샘플링된 선호도에 대해 기대되는 보강된 Tchebycheff 스칼라화를 최소화하여 theta를 최적화한다.
• MOBO에서 탐사/탐색 균형을 맞추기 위해 f의 하한 신뢰 bound 대리모를 채택한다.
• 학습된 Pareto 집합에서 솔루션 후보를 생성하고 하이퍼볼륨 개선을 최대화하여 배치로 선택하는 배치 선택 절차를 개발한다.

실험 결과

연구 질문

• RQ1 고가의 MOBO에서 선호도에서 Pareto 최적 해로의 연속 매핑으로 Pareto 집합을 학습할 수 있는가?
• RQ2 PSL은 finite-population MOBO 방법에 비해 배치 후보 선택의 효율성과 Pareto 집합의 더 나은 탐색을 가능하게 하는가?
• RQ3 학습된 Pareto 집합이 합성 및 실제 문제에서 진짜 Pareto 세트/전역에 얼마나 잘 근사되는가?
• RQ4 PSL의 기존 MOBO 접근법에 비해 계산적 오버헤드는 어떤가?
• RQ5 PSL은 사용자가 Pareto 집합 전반의 트레이드오프를 탐색하도록 허용함으로써 유연한 의사결정을 지원하는가?

주요 결과

문제	#objs	MOEA/D-EGO	TSEMO	USeMO-EI	DGEMO	qEHVI	PSL: 모델 + 선택
F1	2	40.95	4.82	6.12	61.48	36.71	6.59
DTLZ2	3	71.83	7.28	8.76	83.57	75.92	8.61

• PSL은 전체 Pareto 집합과 그 전면을 근사할 수 있어 선호도 제어를 통한 트레이드오프 탐색을 가능하게 한다.
• PSL 기반 MOBO는 합성 벤치마크와 실제 문제에서 여러 MOBO 기준선 대비 하이퍼볼륨 진행이 경쟁력 있거나 우수하다.
• 학습된 Pareto 집합은 의사결정자가 선호하는 트레이드오프를 선택하는 데 시각화 가능하고 활용 가능하다.
• PSL은 경쟁 MOBO 방법에 비해 단일 반복 런타임이 낮거나 비슷하고, 배치 선택으로 추가 이점을 얻는다.
• 배치 PSL 접근은 성능 저하 없이 효율적인 배치 평가를 지원한다.
• 실험은 PSL이 합성 작업에서 실제 전선에 근접한 Pareto 전선을 학습하고 실세계 설계에서 근사 전선을 얻을 수 있음을 보인다.