[논문 리뷰] Ordinal Bayesian Optimisation

Victor Picheny, Sattar Vakili외 1명|arXiv (Cornell University)|2019. 12. 05.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 6

한 줄 요약

이 논문은 입력 및 출력 공간을 순서 기반 왜곡(ordinal warping)을 통해 변환함으로써 상대적 순위만 유지함으로써, 불량 조건 또는 비연속적인 목적 함수에 대해 강건한 베이지안 최적화를 가능하게 하는 새로운 프레임워크인 순서 기반 베이지안 최적화(Ordinal Bayesian Optimisation)를 제안한다. 잠재 순서 공간에서 가우시안 프로세스를 적합화함으로써, 낙관적 할당 정책 하에서 최적의 누적 손실 한계를 달성하며, 매끄럽지 않거나 비연속적인 함수를 가진 도전적인 테스트 문제에서 표준 베이지안 최적화를 능가한다.

ABSTRACT

Bayesian optimisation is a powerful tool to solve expensive black-box problems, but fails when the stationary assumption made on the objective function is strongly violated, which is the case in particular for ill-conditioned or discontinuous objectives. We tackle this problem by proposing a new Bayesian optimisation framework that only considers the ordering of variables, both in the input and output spaces, to fit a Gaussian process in a latent space. By doing so, our approach is agnostic to the original metrics on the original spaces. We propose two algorithms, respectively based on an optimistic strategy and on Thompson sampling. For the optimistic strategy we prove an optimal performance under the measure of regret in the latent space. We illustrate the capability of our framework on several challenging toy problems.

연구 동기 및 목표

• 표준 베이지안 최적화의 성능 저하를 해결하기 위해, 정적 조건 가정이 위반될 경우 발생하는 불량 조건 또는 비연속적인 목적 함수에 기인한 문제를 해결한다.
• 입력 및 출력 공간의 순서적 관계에만 의존하는 메트릭에 민감하지 않은 최적화 프레임워크를 개발한다.
• 잠재 순서 공간에서 상한 신뢰도 기반 할당 정책에 대해 최적의 손실 한계를 증명한다.
• 엄격히 비매끄럽고 비연속적인 테스트 함수에서 프레임워크의 효과성을 입증한다.

제안 방법

• 실수 값 입력 및 출력을 순서 기반 이산 표현으로 변환하는 데 있어 순서를 유지하는 변환을 사용하여 입력 및 출력 공간에 순서 왜곡을 적용한다.
• 변환된 순서 데이터에 기반한 잠재 가우시안 프로세스 모델을 사용하여 민첩하고 강건한 서로서티 모델링을 가능하게 한다.
• 출력 공간에서 순서 기반 회귀를 위한 변분 공식을 사용하여 연속적인 출력 구조를 가정하지 않고도 확률적 추론을 가능하게 한다.
• 입력 공간 왜곡 함수를 학습하기 위해 순서적 구조를 유지하는 내림값 기반 최적화 전략을 적용한다.
• 표준 할당 함수—특히 상한 신뢰도(Upper Confidence Bound, UCB)와 톰슨 샘플링—을 사용하여 순차적 의사결정을 위한 잠재 GP 모델과 통합한다.
• 계산적 타당성을 유지하면서 순서 제약 조건 하에서 잠재 공간을 효율적으로 탐색하기 위해 트리 탐색을 구현한다.

실험 결과

연구 질문

• RQ1 원래 메트릭 공간에 의존하지 않고 순서 기반 왜곡을 통해 불량 조건 또는 비연속적인 목적 함수에 대해 베이지안 최적화를 강건하게 만들 수 있는가?
• RQ2 오직 상대적 순위만 유지하는 순서 왜곡 전략이 고조건성 또는 비립시츠 문제에서 효과적인 최적화를 가능하게 하는가?
• RQ3 잠재 순서 공간에서 낙관적 할당 정책에 대해 최적의 손실 한계를 확립할 수 있는가?
• RQ4 비매끄럽고 비연속적인 테스트 함수에서 제안된 방법의 성능은 표준 베이지안 최적화와 비교해 어떻게 되는가?

주요 결과

• 제안된 프레임워크는 잠재 순서 공간에서 상한 신뢰도 할당 정책 하에서 최적의 손실 한계를 달성하며, 누적 손실 한계가 $ O(eta_n^{1/2} ext{Tr}(oldsymbol{ u}_n)) $로 제한된다. 여기서 $ oldsymbol{ u}_n $는 잠재 공간 내 불확실성을 기록한다.
• 강한 경계 변화와 비연속성으로 인해 표준 베이지안 최적화가 실패하는 테스트 문제에서 본 방법이 뛰어난 성능을 보였다.
• 이론적 분석을 통해 순서 왜곡 하에서 잠재 공간 내 정보 수득량이 유한하게 유지됨을 보여주며, 수렴 보장을 가능하게 한다.
• 이 프레임워크는 입력 및 출력 공간에서 순서적 관계에만 의존함으로써, 메트릭에 민감하지 않은 베이지안 최적화를 처음으로 달성한다.
• 다섯 개의 테스트 함수에 대한 실증 결과에서, 본 방법은 불량 조건 또는 비연속적인 목적 함수에서 기준 베이지안 최적화 대비 누적 손실을 일관되게 감소시켰다.