[논문 리뷰] Batched Gaussian Process Bandit Optimization via Determinantal Point Processes

Tarun Kathuria, Amit Deshpande외 1명|arXiv (Cornell University)|2016. 11. 13.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 39

한 줄 요약

이 논문은 병렬 평가를 위한 다각도의 정보성 파라미터 조합을 선택하기 위해 결정성 점 프로세스(Determinantal Point Processes, DPPs)를 사용하는 새로운 배치 베이지안 최적화 방법을 제안한다. GP 사후 공분산에서 DPP 커널을 학습함으로써 DPP-MAX(탐욕적) 또는 DPP-SAMPLE(스토케스틱)를 통한 효율적인 배치 선택을 가능하게 하여, 특히 큰 배치 크기에서 이전 방법보다 낮은 기대적 실수를 달성한다.

ABSTRACT

Gaussian Process bandit optimization has emerged as a powerful tool for optimizing noisy black box functions. One example in machine learning is hyper-parameter optimization where each evaluation of the target function requires training a model which may involve days or even weeks of computation. Most methods for this so-called "Bayesian optimization" only allow sequential exploration of the parameter space. However, it is often desirable to propose batches or sets of parameter values to explore simultaneously, especially when there are large parallel processing facilities at our disposal. Batch methods require modeling the interaction between the different evaluations in the batch, which can be expensive in complex scenarios. In this paper, we propose a new approach for parallelizing Bayesian optimization by modeling the diversity of a batch via Determinantal point processes (DPPs) whose kernels are learned automatically. This allows us to generalize a previous result as well as prove better regret bounds based on DPP sampling. Our experiments on a variety of synthetic and real-world robotics and hyper-parameter optimization tasks indicate that our DPP-based methods, especially those based on DPP sampling, outperform state-of-the-art methods.

연구 동기 및 목표

• 비용이 많이 들고 평가가 어려운 블랙박스 함수에 대해 순차적 평가가 너무 느리기 때문에 병렬화된 베이지안 최적화의 과제를 해결한다.
• 기본적인 다양성 모델링이 부족하거나 높은 계산 비용으로 인해 성능이 떨어지는 기존의 배치 베이지안 최적화 방법의 한계를 극복한다.
• 관측된 데이터로부터 자동으로 DPP 커널을 학습하여 배치 내에서 탐색과 이용의 균형을 이루는 프레임워크를 개발한다.
• DPP-MAX 및 DPP-SAMPLE 변형에 대해 이론적 실수 경계를 도출하여 이전 연구를 향상시킨다.
• 실제 최적화 작업에서 DPP-SAMPLE가 최신 기준 성능을 뛰어넘는 것으로 실험적으로 입증한다. 특히 큰 배치 크기에서 두각을 나타낸다.

제안 방법

• 결정성 점 프로세스(DPPs)를 사용하여 배치의 다양성을 모델링한다. DPP는 결정성 커널을 통해 자연스럽게 다양성을 보장하는 부분집합을 생성한다.
• 가우스 프로세스의 사후 공분산 행렬을 DPP 커널로 사용함으로써 데이터 기반의 적응형 다양성 모델링을 가능하게 한다.
• DPP-MAX는 고정된 크기의 최대 행렬식 부분집합을 찾기 위해 탐욕적 선택을 통해 구현하며, 다양성과 높은 기대 보상의 조합을 보장한다.
• DPP-SAMPLE는 DPP 분포에서 부분집합을 확률적으로 추출함으로써 불확실성을 도입하고 탐욕적 선택에 의한 과적합을 줄인다.
• DPP 기반의 배치 선택을 EST 및 UCB와 같은 획득 함수와 통합한다. 첫 번째 점은 UCB/EST로 선택하고, 나머지 점들은 DPP를 통해 선택한다.
• DPP-MAX 및 DPP-SAMPLE에 대한 실수 경계를 유도하여, 샘플링이 최대화보다 낮은 기대 실수를 유도함을 보였다.

실험 결과

연구 질문

• RQ1 DPP는 배치 베이지안 최적화에서 다양성을 효과적으로 모델링할 수 있는가? 이는 표본 효율성을 향상시키는가?
• RQ2 GP 사후 공분산에서 DPP 커널을 학습하는 것이 고정 또는 히우리스틱 커널보다 더 나은 일반화 성능과 낮은 실수를 유도하는가?
• RQ3 DPP 분포에서 샘플링하는 DPP-SAMPLE이 탐욕적 선택을 사용하는 DPP-MAX보다 기대 실수가 낮아질 수 있는가?
• RQ4 제안된 DPP 기반 방법은 BUCB, UCB-PE, LP-UCB와 같은 기존의 배치 베이지안 최적화 알고리즘과 비교해 수렴 속도와 최종 성능에서 어떻게 다른가?
• RQ5 특히 널리 사용되는 RBF 커널에 대해 DPP 기반 방법의 이론적 실수 경계를 도출하고 향상시킬 수 있는가?

주요 결과

• DPP-SAMPLE는 합성 및 실제 작업 모두에서 DPP-MAX 및 기타 기준 성능을 일관되게 능가하며, 특히 큰 배치 크기(예: B=10)에서 두각을 나타낸다.
• Bibtex 데이터셋에 대한 FastXML 초파라미터 튜닝 작업에서, DPP-SAMPLE는 최고 기준 성능을 보인 LP-UCB와 유사한 성능을 달성했으며, DPP-MAX 및 기존의 배치 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 로봇 제어 작업에서 B=10일 때 DPP-SAMPLE는 DPP-MAX와 비교해 뚜렷한 성능 격차를 보였으며, 큰 배치에서 스토케스틱 샘플링의 이점이 확인되었다.
• DPP-MAX에 탐욕적 선택 규칙을 사용할 경우 DPP 기반 프레임워크는 UCB-PE를 정확히 복원하며, 이는 이론적 일관성을 검증한다.
• 논문은 RBF 커널에 대한 정보 이득의 간소화된 증명을 제공하며, 기존의 O((log T)^{d+1}) 경계를 O((log T)^d)로 향상시켰다. 이는 이론적 보장을 강화한다.
• 실험 결과 DPP-SAMPLE는 Abalone 및 Delicious 데이터셋을 포함한 여러 벤치마크에서 LP-UCB 및 기타 최신 기준 성능과 경쟁하거나 뛰어난 성능을 보였다.