[논문 리뷰] Asynchronous Parallel Bayesian Optimisation via Thompson Sampling

Kirthevasan Kandasamy, Akshay Krishnamurthy외 2명|arXiv (Cornell University)|2017. 05. 25.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 17

한 줄 요약

이 논문은 시간 제약 조건 하에서 순차적 및 동기적 방법보다 우수한 성능을 보이는, 톰슨 샘플링을 사용한 이방성 병렬 베이지안 최적화 방법인 asyTS를 제안한다. 평가 시간의 변동성을 모델링함으로써, asyTS는 渐진적으로 낮은 손실을 달성하며 단순성 유지하면서도 기존 방법보다 우수한 성능을 보이며, 합성 벤치마크와 컨volutional 신경망의 하이퍼파ram터 튜닝에서 모두 검증된다.

ABSTRACT

We design and analyse variations of the classical Thompson sampling (TS) procedure for Bayesian optimisation (BO) in settings where function evaluations are expensive, but can be performed in parallel. Our theoretical analysis shows that a direct application of the sequential Thompson sampling algorithm in either synchronous or asynchronous parallel settings yields a surprisingly powerful result: making $n$ evaluations distributed among $M$ workers is essentially equivalent to performing $n$ evaluations in sequence. Further, by modeling the time taken to complete a function evaluation, we show that, under a time constraint, asynchronously parallel TS achieves asymptotically lower regret than both the synchronous and sequential versions. These results are complemented by an experimental analysis, showing that asynchronous TS outperforms a suite of existing parallel BO algorithms in simulations and in a hyper-parameter tuning application in convolutional neural networks. In addition to these, the proposed procedure is conceptually and computationally much simpler than existing work for parallel BO.

연구 동기 및 목표

• 변동 평가 시간을 가진 병렬 컴퓨팅 환경에서 순차적 베이지안 최적화의 비효율성을 해결하기 위해.
• 이방성 병렬 베이지안 최적화를 위한 이론적으로 타당하고 계산적으로 단순한 방법을 설계하기 위해.
• 시간 제약 조건 하에서 순차적, 동기적 및 기타 병렬 BO 방법보다 asyTS가 낮은 손실을 달성함을 보여주기 위해.
• 기존 연구에서 빈약한 부분이었던, 베이지안 최적화에서의 이방성 톰슨 샘플링에 대한 이론적 보장을 제공하기 위해.
• 딥 러닝에서의 실제 하이퍼파ram터 튜닝을 포함한 합성 함수와 실세계 실험을 통해 asyTS를 경험적으로 검증하기 위해.

제안 방법

• 작업자들이 상호 간의 조율 없이 후행 분포에서 독립적으로 샘플링하고 결과를 제출할 수 있도록 허용함으로써, 순차적 톰슨 샘플링을 이방성 병렬 환경으로 확장한다.
• 각 작업자는 현재 후행 분포에서 샘플링한 함수를 최대화함으로써 다음 평가 지점을 선택한다.
• 평가 시간을 알려진 분포를 가진 랜덤 변수로 모델링함으로써 시간 인식 손실 분석이 가능해진다.
• 이론적 분석을 통해, 동기 및 이방성 변형 모두 n개의 평가를 M개의 작업자에 할당할 경우 순차적 TS와 거의 동일한 손실을 달성함을 보여준다.
• 이방성 TS는 평가 시간의 변동성을 더 잘 활용함으로써 시간 예산 하에서 동기 및 순차적 버전보다 渐진적으로 낮은 손실을 달성함을 증명하였다.
• 추가 하이퍼파ram터나 복잡한 계산 서브루틴이 필요 없어 순차적 TS의 단순성을 유지한다.

실험 결과

연구 질문

• RQ1 시간 제약 조건 하에서 이방성 병렬 톰슨 샘플링이 순차적 및 동기적 병렬 BO보다 낮은 손실을 달성하는가?
• RQ2 순차적 톰슨 샘플링을 이방성 병렬 실행으로 직접 변형해도 이론적 성능 보장이 유지되는가?
• RQ3 수렴 속도와 최종 성능 측면에서 asyTS는 기존 병렬 BO 방법과 비교해 어떻게 되는가?
• RQ4 변동 평가 시간은 병렬 베이지안 최적화 알고리즘의 손실에 어떤 영향을 미치는가?
• RQ5 asyTS는 기존 병렬 BO 방법보다 계산적·개념적으로 더 단순하면서도 성능을 유지하거나 향상시키는가?

주요 결과

• 변동 평가 시간을 더 잘 처리함으로써, 시간 제약 조건 하에서 순차적 및 동기적 병렬 BO보다 asyTS가 渐진적으로 낮은 손실을 달성한다.
• M개의 작업자에 n개의 평가를 asyTS로 분배하면, 순차적 평가 n회 수행과 거의 동일한 손실을 기록함으로써 뛰어난 이론적 효율성을 입증한다.
• 합성 실험에서 asyTS는 synTS, seqTS 및 EI, HUCB, RAND와 같은 다른 병렬 BO 방법보다 수렴 속도와 최종 目标 함수 값 측면에서 뛰어난 성능을 보였다.
• Cifar-10 하이퍼파ram터 튜닝 과제에서 asyTS는 평균적으로 80~88회 평가로 충분했고, asyRAND(93~105회) 및 asyEI(83~92회)보다 훨씬 적은 평가 수를 요구하여 뛰어난 샘플 효율성을 입증했다.
• 제안된 방법은 기존 접근보다 개념적·계산적으로 더 단순하며, 추가 하이퍼파ram터나 복잡한 서브루틴이 필요하지 않다.
• 이론적 분석을 통해 평가 시간이 확률적이고 이질적일 경우에도 asyTS가 강력한 성능 보장을 유지함을 확인했다.