[논문 리뷰] Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization

Daniel Golovin, Qiuyi Zhang|arXiv (Cornell University)|2020. 06. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 37인용 수 13

한 줄 요약

이 논문은 다목적 블랙박스 최적화에서 전체 파레토 경계에 대한 증명 가능한 수렴을 가능하게 하는 새로운 초체적량 스칼라라이제이션 함수를 제안한다. 적절히 선택된 분포에서 임의의 스칼라라이제이션을 추출함으로써, UCB나 톰슨 샘플링과 같은 표준 베이지안 최적화 취득 함수와 조합할 경우, 순서 $ frac{1}{2} imes ext{hypervolume}$의 날카운 감소한 초체적량 회귀 한계 $ frac{1}{2} imes ext{hypervolume}$를 달성한다.

ABSTRACT

Single-objective black box optimization (also known as zeroth-order optimization) is the process of minimizing a scalar objective $f(x)$, given evaluations at adaptively chosen inputs $x$. In this paper, we consider multi-objective optimization, where $f(x)$ outputs a vector of possibly competing objectives and the goal is to converge to the Pareto frontier. Quantitatively, we wish to maximize the standard hypervolume indicator metric, which measures the dominated hypervolume of the entire set of chosen inputs. In this paper, we introduce a novel scalarization function, which we term the hypervolume scalarization, and show that drawing random scalarizations from an appropriately chosen distribution can be used to efficiently approximate the hypervolume indicator metric. We utilize this connection to show that Bayesian optimization with our scalarization via common acquisition functions, such as Thompson Sampling or Upper Confidence Bound, provably converges to the whole Pareto frontier by deriving tight hypervolume regret bounds on the order of $\widetilde{O}(\sqrt{T})$. Furthermore, we highlight the general utility of our scalarization framework by showing that any provably convergent single-objective optimization process can be effortlessly converted to a multi-objective optimization process with provable convergence guarantees.

연구 동기 및 목표

• 특히 히우리스틱 스칼라라이제이션에 의존하는 알고리즘에 대해 이론적 수렴 보장이 부족한 다목적 블랙박스 최적화 문제를 해결한다.
• 초체적량 지표를 직접 최적화하는 데 있어 계산상의 비현실성(계산이 #P-난이도이며, 미분 가능하지 않음)을 극복한다.
• 모든 이론적으로 수렴 보장이 있는 단일목적 최적화 알고리즘을 다목적 설정으로 일반화할 수 있는 스칼라라이제이션 프레임워크를 개발한다.
• 선형 또는 체비세프 스칼라라이제이션과 같은 히우리스틱 스칼라라이제이션의 대안으로서, 다양한 파레토 경계 형태에 걸쳐 균일한 성능 보장을 갖는 이론적 기반을 제공한다.
• 무작위 샘플링을 통한 스칼라라이제이션 선택과 초체적량 지표를 연결함으로써 다목적 최적화의 날카운 감소 한계를 확립한다.

제안 방법

• 점의 초체적량 기여도에 기반해 다목적 출력을 스칼라 값으로 매핑하는 새로운 스칼라라이제이션 함수인 초체적량 스칼라라이제이션을 제안한다.
• 모든 목적 공간을 커버하기 위해 양의 단체 $ frac{1}{2} imes ext{hypervolume}$ 상에서 분포 $D_\lambda$ 에서 스칼라라이제이션 가중치 $\lambda$ 를 샘플링한다.
• 단일목적 최적화에서 진정한 초체적량 지표의 대체로 스칼라라이제이션 목표 $s_\lambda(F(x)) = \text{hypervolume}(F(x); \lambda)$ 를 사용한다.
• 스칼라라이제이션 목표에 대해 표준 베이지안 최적화를 적용하고, 상한 신뢰도(Upper Confidence Bound, UCB) 또는 톰슨 샘플링과 같은 취득 함수를 사용한다.
• 해결책 집합이 지배하는 진정한 초체적량과 스칼라라이제이션 목표의 기대 향상 간의 관계를 통해 초체적량 감소 한계를 유도한다.
• 초체적량 스칼라라이제이션의 농도 및 매끄러움 성질을 활용하여 $T$ 반복 동안 누적 감소 한계를 제한한다.

실험 결과

연구 질문

• RQ1 양의 단체 상에서 분포에서 추출한 무작위 스칼라라이제이션을 사용하여 다목적 최적화에서 초체적량 지표를 증명 가능한 근사로 사용할 수 있는가?
• RQ2 제안된 초체적량 스칼라라이제이션을 사용할 경우, 표준 스칼라라이제이션과 비교해 베이지안 최적화에 대해 어떤 이론적 감소 한계를 확립할 수 있는가?
• RQ3 이론적으로 알려진 감소 한계를 갖는 단일목적 최적화 알고리즘은 이 스칼라라이제이션 프레임워크를 통해 다목적 최적화로 확장될 수 있으며, 수렴 보장이 유지되는가?
• RQ4 초체적량 스칼라라이제이션은 선형 스칼라라이제이션과 비교해 실증적으로 어떤 성능을 보이며, 지배하는 초체적량과 파레토 경계 커버리지 측면에서 어떻게 다를까?
• RQ5 파레토 경계의 볼록성 또는 형태가 초체적량 스칼라라이제이션과 선형 스칼라라이제이션 간의 상대적 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 초체적량 스칼라라이제이션은 $ frac{1}{2} imes ext{hypervolume}$ 감소 한계 $ frac{1}{2} imes ext{hypervolume}$를 달성하며, 이는 단일목적 베이지안 최적화에서 알려진 최고 수준의 한계와 정확히 일치한다.
• 실증 결과에 따르면, UCB에 초체적량 스칼라라이제이션을 적용한 경우, 선형 스칼라라이제이션과 진화 전략 모두를 뛰어넘는 지배 초체적량 성능을 보였다. 특히 노이즈 없는 환경에서 두드러진 성능 향상을 보였다.
• 초체적량 스칼라라이제이션은 항상 선형 스칼라라이제이션과 동일하거나 더 나은 성능을 보였으며, 특히 파레토 경계가 비볼록일 경우에 유의미하게 뛰어난 성능을 보였다.
• 가우시안 관측 노이즈가 존재하는 환경에서도 초체적량 스칼라라이제이션은 강력한 성능 유지를 보였으며, 노이즈 평가에 대한 강건성을 시사한다.
• 이 프레임워크를 통해 이론적으로 수렴 보장이 있는 모든 단일목적 최적화 알고리즘은 스칼라라이제이션을 통해 다목적 알고리즘으로 변환될 수 있으며, 이론적 보장을 갖는다.
• 파레토 경계가 비볼록일 경우에 초체적량 스칼라라이제이션과 선형 스칼라라이제이션 간의 성능 격차가 가장 두드러지며, 이는 복잡한 트레이드오프를 포착하는 데서 본 방법의 우수성을 강조한다.