[논문 리뷰] Nonmyopic Gaussian Process Optimization with Macro-Actions

Dmitrii Kharkovskii, Chun Kai Ling외 1명|arXiv (Cornell University)|2020. 02. 22.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 4

한 줄 요약

이 논문은 비모이식(Gaussian process) 최적화 프레임워크를 제안하며, 매크로행동(macro-actions)을 사용하여 베이지안 최적화에서 장기 예측 계획을 가능하게 한다. 이는 모이식 및 배치 기반 접근 방식의 한계를 극복한다. $\epsilon$-베이즈 최적 매크로행동 정책과 이론적 성능 보장을 갖춘 실시간 적용 가능한 변형을 도입함으로써, 복잡한 고예산 목적 함수에 대해 확장 가능하고 적응형이며 이론적으로 타당한 최적화를 달성한다.

ABSTRACT

This paper presents a multi-staged approach to nonmyopic adaptive Gaussian process optimization (GPO) for Bayesian optimization (BO) of unknown, highly complex objective functions that, in contrast to existing nonmyopic adaptive BO algorithms, exploits the notion of macro-actions for scaling up to a further lookahead to match up to a larger available budget. To achieve this, we generalize GP upper confidence bound to a new acquisition function defined w.r.t. a nonmyopic adaptive macro-action policy, which is intractable to be optimized exactly due to an uncountable set of candidate outputs. The contribution of our work here is thus to derive a nonmyopic adaptive epsilon-Bayes-optimal macro-action GPO (epsilon-Macro-GPO) policy. To perform nonmyopic adaptive BO in real time, we then propose an asymptotically optimal anytime variant of our epsilon-Macro-GPO policy with a performance guarantee. We empirically evaluate the performance of our epsilon-Macro-GPO policy and its anytime variant in BO with synthetic and real-world datasets.

연구 동기 및 목표

• 고예산, 복잡한 목적 함수 설정에서 모이식 및 배치 기반 베이지안 최적화의 부적합성을 해결하기 위해.
• 기본 동작의 시퀀스로 구성된 매크로행동을 활용하여 장기 예측(예산 크기까지)에 대한 비모이식, 적응형 계획을 가능하게 하기 위해.
• 비모이식 적응형 GPO를 위한 이론적으로 타당한 $\epsilon$-베이즈 최적 매크로행동 정책을 개발하기 위해.
• 실시간 구현을 위해 설계된, 渐진적 최적성과 성능 보장을 갖춘 정책의 실시간 변형을 설계하기 위해.

제안 방법

• 비모이식 적응형 매크로행동 정책로 일반화된 GP 상한 신뢰도 획득 함수를 도입하여, 앞서 보는 계획을 가능하게 한다.
• 기하학적으로 불가측한 매크로행동 출력 집합 최적화의 어려움을 해결하기 위해, 새로운 $\epsilon$-베이즈 최적 매크로행동 GPO 정책($\epsilon$-Macro-GPO)을 제안한다.
• 구조화된 매크로행동 정책을 활용하여 유한한 복잡도를 갖는 벨먼 스타일의 재귀적 계산을 통해 앞서 보는 값을 계산한다.
• 이론적으로 $\epsilon$-최적성을 달성하기 위해 필요한 매크로행동 수 $N$에 대한 이론적 경계를 유도하며, $N = \mathcal{O}(\kappa^{2H}/\epsilon^2 \log(\kappa A / \epsilon))$ 라는 결과를 도출한다.
• $\epsilon$-Macro-GPO의 실시간 실행을 가능하게 하면서도 성능 보장을 유지하는 실시간 변형을 제안한다.
• 보조 보조정리를 사용하여 가치 함수와 매크로행동 시퀀스를 통한 불확실성 전파를 제한함으로써, 이론적 취급 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 기하학적으로 불가측한 매크로행동 출력 공간을 고려할 때, 매크로행동를 효과적으로 사용하여 이론적 보장을 유지하면서 장기 예측 비모이식 베이지안 최적화를 확장할 수 있는가?
• RQ2 매크로행동 출력 공간이 불가측할 경우, 비모이식 적응형 GPO에 대해 $\epsilon$-베이즈 최적 정책을 어떻게 구성할 수 있는가?
• RQ3 매크로행동 기반 비모이식 GPO에서 $\epsilon$-최적성을 달성하기 위해 필요한 이론적 샘플 복잡도는 얼마인가?
• RQ4 제안된 정책을 성능 보장을 유지하면서 실시간 구현에 적합하게 만들 수 있는가?
• RQ5 유한한 예산 제약 하에서, 제안된 방법이 모이식 및 배치 기반 BO 알고리즘보다 국소 최적점에 수렴하는 데 더 빠른가?

주요 결과

• 제안된 $\epsilon$-Macro-GPO 정책는 이론적 샘플 복잡도 $N = \mathcal{O}(\kappa^{2H}/\epsilon^2 \log(\kappa A / \epsilon))$ 를 갖는 비모이식 적응형 가우시안 프로세스 최적화에서 $\epsilon$-베이즈 최적성을 달성한다.
• $\epsilon$-Macro-GPO의 실시간 변형은 渐진적 최적성과 성능 보장을 유지하며, 실시간 실행을 가능하게 한다.
• 합성 및 실제 데이터셋에 대한 실험 평가 결과, $\epsilon$-Macro-GPO는 모이식 DB-GP-UCB 및 기타 베이지안 최적화 기반 기준선 방법보다 국소 최대값을 찾는 데서 더 뛰어나며, 특히 더 큰 예산에서 뚜렷한 성능 향상을 보였다.
• 모의 AUV 작업에서 $\epsilon$-Macro-GPO는 국소 최대값에 수렴하는 모이식 DB-GP-UCB와 달리, 글로벌 최대값에 도달하기 위한 매크로행동를 성공적으로 계획하였다.
• 이 방법은 최대 8개의 관측값(예측 깊이 H=4, N=1)까지의 예측 가능성을 보이며, 기존의 5개 이하의 예측 깊이에 제한된 비모이식 적응형 BO 방법보다 뚜렷한 성능 향상을 보였다.
• 이론적 분석을 통해 가치 함수와 불확실성 전파가 재귀적 보조정리를 통해 유한하게 제한됨을 확인하였으며, 이는 정책의 안정성과 수렴성 보장을 의미한다.