[논문 리뷰] No-regret Algorithms for Multi-task Bayesian Optimization

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|2020. 08. 20.

Gaussian Processes and Bayesian Inference참고 문헌 48인용 수 4

한 줄 요약

이 논문은 공유 구조를 가진 벡터-값 함수를 효율적으로 최적화하기 위해 다중작업 커널과 무작위 스칼라화를 활용하는 두 가지 새로운 다중작업 베이지안 최적화 알고리즘, MT-KB와 MT-BKB를 제안한다. 저자들은 다중목표 BO에 대해 처음으로 유한시간 복귀한도를 확립하였으며, 이는 작업 간 유사성을 명시적으로 반영한다. 이는 이론적 보장과 합성 및 실세계 데이터셋에서의 실험적 검증을 통해 표본 효율성 향상을 입증한다.

ABSTRACT

We consider multi-objective optimization (MOO) of an unknown vector-valued function in the non-parametric Bayesian optimization (BO) setting, with the aim being to learn points on the Pareto front of the objectives. Most existing BO algorithms do not model the fact that the multiple objectives, or equivalently, tasks can share similarities, and even the few that do lack rigorous, finite-time regret guarantees that capture explicitly inter-task structure. In this work, we address this problem by modelling inter-task dependencies using a multi-task kernel and develop two novel BO algorithms based on random scalarizations of the objectives. Our algorithms employ vector-valued kernel regression as a stepping stone and belong to the upper confidence bound class of algorithms. Under a smoothness assumption that the unknown vector-valued function is an element of the reproducing kernel Hilbert space associated with the multi-task kernel, we derive worst-case regret bounds for our algorithms that explicitly capture the similarities between tasks. We numerically benchmark our algorithms on both synthetic and real-life MOO problems, and show the advantages offered by learning with multi-task kernels.

연구 동기 및 목표

• 다중목표 베이지안 최적화(MOO)에서 작업 간 의존성을 명시적으로 모델링하는 유한시간 복귀한도 보장을 제공하지 못하는 문제를 해결하기 위해.
• 다양한 목표 간 유사성을 활용하여 블랙박스 최적화에서 표본 효율성을 향상시키는 알고리즘을 개발하기 위해.
• 목표 간 유사성 정도를 반영한 이론적 복귀한도를 제공하여 목표를 독립적으로 다루는 것과는 다름을 보여주기 위해.
• 벡터-값 함수의 커널 리지 회귀와 니스트롬 근사를 UCB 스타일 프레임워크에 통합하여 확장 가능한 다중작업 MOO를 구현하기 위해.
• 제안된 알고리즘을 합성 및 실세계 MOO 문제에서 실험적으로 검증하여 독립적 및 기준 방법에 비해 우월함을 보여주기 위해.

제안 방법

• 알고리즘은 다중목표 최적화를 단일목표 문제의 시퀀스로 변환하기 위해 목표의 무작위 스칼라화를 사용한다.
• 다중작업 커널을 사용하여 목표 간 상관관계를 모델링함으로써 유사한 작업 간 공유 학습을 가능하게 한다.
• 예측된 공동 목표 함수와 신뢰도 측정을 위해 벡터-값 함수의 커널 리지 회귀를 사전 모델로 사용한다.
• 알고리즘은 상한 신뢰도(UCB) 원칙을 따르며, 예측된 향상도와 불확실성의 균형을 바탕으로 다음 평가 지점을 선택한다.
• MT-BKB는 계산 비용을 줄이기 위해 니스트롬 근사를 적용하여 더 큰 데이터셋에 대한 확장성을 확보한다.
• 이론적 분석을 통해 벡터-값 함수 추정에 대한 새로운 농도 불등식을 유도하였으며, 이는 작업 간 유사성과 커널 구조에 따라 달라지는 복귀한도를 이끌어낸다.

실험 결과

연구 질문

• RQ1 공유 커널 구조를 가진 다중작업 베이지안 최적화가 다중목표 설정에서 독립 최적화보다 더 나은 복귀 성능을 달성할 수 있는가?
• RQ2 작업 간 유사성이 다중목표 BO 알고리즘의 유한시간 복귀한도에 어떤 영향을 미치는가?
• RQ3 무작위 스칼라화와 다중작업 커널을 효과적으로 조합하여 파레토 최적 해를 탐색하는 데서의 유연성을 유지할 수 있는가?
• RQ4 니스트롬 근사 사용이 다중작업 BO의 복귀한도와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 기존 방법에 비해 작업 간 유사성을 명시적으로 반영한 더 날카운 복귀한도를 제안된 알고리즘이 달성하는가?

주요 결과

• 제안된 MT-KB와 MT-BKB 알고리즘은 다중작업 커널을 통해 작업 간 유사성 구조에 명시적으로 의존하는 유한시간 복귀한도를 달성한다.
• 복귀한도는 다중목표 베이지안 최적화에 대해 처음으로 악성 경우(frequentist) 보장을 제공하며, 이는 벡터-값 함수 추정에 대한 새로운 농도 불등식을 통해 도출되었다.
• 실험 결과, MT-KB와 MT-BKB는 합성 및 실세계 센서 데이터에서 독립 작업 기준선(IT-KB, IT-BKB) 및 MOBO보다 시간 평균 누적 복귀한도와 베이즈 복귀한도 측면에서 뛰어난 성능을 보였다.
• MT-BKB에서 니스트롬 근사를 사용함으로써 이론적 보장을 유지하면서도 확장 가능한 추론이 가능해져 더 큰 규모의 문제에 적합하다.
• 인텔 버클리 랩의 실세계 센서 데이터에서, 하이퍼파rameter 튜닝 없이도 기준선에 비해 더 빠른 수렴과 뛰어난 안정성을 보였다.
• 커널이 작업과 입력 도메인을 따라 분해되는 경우 알고리즘은 간단하게 구현 가능하며, RKHS 및 변형된 사인 함수와 같은 다양한 문제 유형에서 뛰어난 성능을 유지한다.