[논문 리뷰] Scalable Thompson Sampling using Sparse Gaussian Process Models

Sattar Vakili, Henry B. Moss외 3명|Lancaster EPrints (Lancaster University)|2020. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 72인용 수 4

한 줄 요약

이 논문은 희소 가우시안 프로세스(S-GP-TS)를 활용한 확장 가능한 톰슨 샘플링을 제안하여, 큰 예산을 가진 효율적인 배치 베이지안 최적화를 가능하게 한다. 희소 변분 추론과 분리된 샘플링을 활용하여 계산 복잡도를 감소시키면서도, 정확한 GP-TS의 이론적 보장을 유지한다. 이는 근사 조건 하에서 동일한 성능을 달성한다.

ABSTRACT

Thompson Sampling (TS) from Gaussian Process (GP) models is a powerful tool for the optimization of black-box functions. Although TS enjoys strong theoretical guarantees and convincing empirical performance, it incurs a large computational overhead that scales polynomially with the optimization budget. Recently, scalable TS methods based on sparse GP models have been proposed to increase the scope of TS, enabling its application to problems that are sufficiently multi-modal, noisy or combinatorial to require more than a few hundred evaluations to be solved. However, the approximation error introduced by sparse GPs invalidates all existing regret bounds. In this work, we perform a theoretical and empirical analysis of scalable TS. We provide theoretical guarantees and show that the drastic reduction in computational complexity of scalable TS can be enjoyed without loss in the regret performance over the standard TS. These conceptual claims are validated for practical implementations of scalable TS on synthetic benchmarks and as part of a real-world high-throughput molecular design task.

연구 동기 및 목표

• 관측 수에 따라 세제곱적으로 증가하는 표준 톰슨 샘플링의 높은 계산 비용을 해결한다.
• 소음이 많거나 다모드, 조합 최적화 문제 등 수백 또는 수천 개의 평가가 필요한 문제에 대해 대용량 배치 베이지안 최적화를 가능하게 한다.
• 특정 사후 근사 조건 하에서 확장 가능한 GP-TS가 정확한 GP-TS와 동일한 손실 순서를 유지할 수 있음을 이론적으로 정당화한다.
• 합성 벤치마크와 실제 고속 분자 설계 과제에서 방법을 실증적으로 검증한다.
• 희소 GP 근사와 분리된 샘플링이 근사 품질이 충분할 경우 손실 성능을 떨어뜨리지 않음을 보여준다.

제안 방법

• 전체 GP 사후분포를 낮은 질량의 구조로 근사하기 위해 희소 변분 가우시안 프로세스(SVGP)를 사용하여 계산 비용을 O(t³)에서 O(m²t)로 감소시킨다. 여기서 m ≪ t는 유도 변수의 수이다.
• 분리된 샘플링을 적용: 톰슨 샘플을 고정된 사전 성분(M개의 특징 기반)과 모델 업데이트로 분리하여 샘플링 복잡도를 O((m+M)N)로 줄인다.
• 근사된 GP-TS가 정확한 GP-TS와 동일한 손실 순서를 확보할 수 있는 이론적 조건(가정 3 및 4)을 도입한다.
• 이전 연구에서 유도된 스펙트럼 경계를 활용하여, 낮은 손실을 확보하기 위해 필요한 유도 변수 수와 사전 특징 수의 조건을 유도한다.
• K-평균과 적합도 기반 유도점 선택 전략을 비교하여 성능에 미치는 영향을 분석한다.
• 모델 훈련을 위해 ADAM 최적화를 사용하고 조기 정지 및 학습률 스케줄링을 적용하며, 비교 시 GIBBON을 기준선 할당 함수로 사용한다.

실험 결과

연구 질문

• RQ1 희소 가우시안 프로세스를 사용한 톰슨 샘플링이 통제된 근사 오차 하에서도 정확한 GP-TS와 동일한 손실 순서를 유지할 수 있는가?
• RQ2 확장 가능한 TS에서 손실 성능을 유지하기 위해 사후 근사 품질에 어떤 조건이 필요한가?
• RQ3 다양한 유도점 선택 전략(K-평균 대 적합도 기반 그리디 선택)이 고차원, 노이즈가 많은, 또는 다모드 함수에서 S-GP-TS의 성능에 어떤 영향을 미치는가?
• RQ4 손실과 반복 효율 측면에서 S-GP-TS는 기존의 배치 베이지안 최적화 방법을 어느 정도 능가할 수 있는가?
• RQ5 S-GP-TS는 큰 최적화 예산을 가진 실제 고속 분자 설계 과제에 효과적으로 스케일링될 수 있는가?

주요 결과

• S-GP-TS는 사후 근사가 특정 이론적 조건(가정 3 및 4)을 만족할 경우 정확한 GP-TS와 유사한 손실 성능을 달성한다.
• 노이즈가 강한 5차원 Ackley 함수(분산 0.5)에서 S-GP-TS는 B=100일 때 순차 기반 방법을 능가하며, 더 적은 반복 수로 낮은 손실을 달성한다.
• 노이즈가 많은 6차원 Hartmann 함수에서 S-GP-TS는 B=100으로 qEI 및 LP-EI와 같은 기존 배치 방법(B=25 제한)보다 낮은 손실을 기록한다.
• 복잡한 지형에서 고탐색 설정인 Ackley 함수에서는 적합도 기반 그리디 유도점 선택 전략이 K-평균보다 略적으로 우수한 성능을 보이며, 복잡한 경로 탐색에 유리함을 시사한다.
• 이dealized 병렬 환경(베이지안 최적화 반복 수 기준)에서 S-GP-TS는 표준 BO 절차가 요구하는 반복 수의 일부분으로 낮은 손실에 도달한다.
• 실제 고속 분자 설계 과제에 대해 S-GP-TS는 합성 벤치마크를 넘어서 실용적 타당성을 입증했다.