[논문 리뷰] Bandit optimisation of functions in the Matérn kernel RKHS

David M. Janz, David R. Burt외 1명|arXiv (Cornell University)|2020. 01. 28.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 9

한 줄 요약

이 논문은 매터니_KERNEL_RKHS에서 매터니 커널의 스무스니스 파라미터 ν > 1 및 차원 d ≥ 1인 함수를 위한 새로운 밴딧 최적화 알고리즘 π-GP-UCB를 제안한다. 적응적 분할을 사용하는 분할된 가우시안 프로세스 상위 신뢰구간을 통해 모든 ν > 1 및 d ≥ 1에 대해 실용적인 비선형 회귀 보장을 달성하며, 이는 이전 방법들인 개선된 GP-UCB에 비해 계산적 확장성과 경험적 성능을 크게 향상시킨다.

ABSTRACT

We consider the problem of optimising functions in the reproducing kernel Hilbert space (RKHS) of a Matérn kernel with smoothness parameter $ν$ over the domain $[0,1]^d$ under noisy bandit feedback. Our contribution, the $π$-GP-UCB algorithm, is the first practical approach with guaranteed sublinear regret for all $ν>1$ and $d \geq 1$. Empirical validation suggests better performance and drastically improved computational scalablity compared with its predecessor, Improved GP-UCB.

연구 동기 및 목표

• 매터니 커널 RKHS 함수에 대한 밴딧 최적화에서 이론적 및 경험적 격차를 해소하기 위해, 특히 ν > 1 및 임의의 d ≥ 1에 대해.
• 기존 방법들이 저규칙성 함수에 대해 수렴 보장을 하지 못하는 매터니 커널 밴딧 문제에 대해 증명 가능성이 있는 비선형 회귀 보장을 갖는 실용적 알고리즘을 개발하기 위해.
• 커널 기반 밴딧 알고리즘의 계산적 확장성을 향상시키면서도 강력한 이론적 보장을 유지하기 위해.
• 매터니 커널 RKHS의 유효 차원에 대한 경계를 강화하여 기존 알고리즘의 이론적 성능을 향상시키기 위해.
• 최첨단 기준들인 개선된 GP-UCB와 비교하여 뛰어난 성능과 런타임 효율성을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘은 입력 영역을 적응적 하위영역으로 나누어 불확실성을 국소화하고 계산 효율성을 향상시키는 분할된 가우시안 프로세스 상위 신뢰구간(UCB) 전략을 사용한다.
• 신뢰구간은 μ_{t-1}(x) + β_t(δ)σ_{t-1}(x) 형태를 취하며, 여기서 μ와 σ는 GP 사후 평균 및 표준편차이고, β_t(δ)는 고확률 신뢰구간을 보장한다.
• 정보 이득 추정치를 기반으로 영역을 적응적으로 분할하며, 정보 이득에 대한 상한을 사용해 탐색과 이용의 균형을 이룬다.
• 각 단계에서 정확한 γ^X_t 및 γ^A_t 값을 계산하여 타이트한 신뢰구간을 유지함으로써 이론적 보장을 확보하면서도 실용적 구현을 가능하게 한다.
• 매터니 커널의 구조를 활용해 유효 차원에 대한 더 날카운 경계를 유도하며, 이를 통해 회귀 분석을 정교화하고 성능을 향상시킨다.
• 경험적 평가는 매터니 ν = 3/2 RKHS 내의 합성 함수를 사용하며, 알려진 RKHS 노름과 덧셈형 균일한 노이즈를 갖는다. 두 알고리즘이 공정한 비교를 위해 진짜 노름에 접근할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모든 ν > 1 및 d ≥ 1에 대해 실용적인 밴딧 알고리즘이 매터니 커널 RKHS에서 비선형 회귀 보장을 달성할 수 있는가?
• RQ2 입력 공간을 분할하는 것은 GP 기반 밴딧 최적화에서 계산적 확장성과 경험적 성능을 어떻게 향상시키는가?
• RQ3 매터니 커널 RKHS의 유효 차원에 대한 더 날카운 경계는 기존 및 신규 알고리즘의 회귀 보장에 어떻게 기여하는가?
• RQ4 π-GP-UCB는 합성 및 벤치마크 함수에서 개선된 GP-UCB보다 회귀 및 런타임 측면에서 뛰어난 성능을 보이는가?
• RQ5 정보 이득 기반 적응적 분할은 균일하거나 고정된 분할에 비해 수렴성과 효율성을 얼마나 향상시키는가?

주요 결과

• π-GP-UCB는 모든 ν > 1 및 d ≥ 1에 대해 고확률 회귀 경계 Õ(T^{(d(2d+3)+2ν)/(d(2d+4)+4ν)})를 확보하며, 이는 비선형 회귀를 보장하고 전역 최적해로 수렴함을 의미한다.
• 경험적으로, π-GP-UCB는 매터니 ν = 3/2 RKHS 내 3차원 합성 함수에서 개선된 GP-UCB를 크게 능가하며, 런타임은 29분 대비 IGP-UCB의 30시간을 기록한다.
• d = 2일 경우, π-GP-UCB는 회귀를 0.71(IGP-UCB)에서 0.52로 감소시키며(균일 샘플링 기준 상대적 성능), 런타임은 118분에서 97초로 감소시킨다.
• 가우시안 프로세스 회귀를 사용하고 있음에도 불구하고, π-GP-UCB는 경험적으로 거의 선형 런타임을 달성하여 강력한 계산적 확장성을 보여준다.
• 분석을 통해 매터니 커널 RKHS의 유효 차원에 대한 더 날카운 경계를 제공하며, 이는 다양한 기존 커널 기반 밴딧 최적화 알고리즘의 회귀 경계 향상에 직접 기여한다.
• 노이즈가 있는 표준 2차원 벤치마크 함수에서, RKHS 노름이 알려져 있지 않거나 B = 1로 설정되어 있어도 π-GP-UCB는 IGP-UCB와 경쟁 가능한 성능을 보이며, 하이퍼파rameter 불확실성에 대한 강건성을 입증한다.