[논문 리뷰] On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization

Xu Cai, Jonathan Scarlett|arXiv (Cornell University)|2020. 08. 20.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 8

한 줄 요약

이 논문은 비베이지안 설정에서 가우시안 프로세스 밴딧 최적화에 대해 알고리즘에 의존하지 않는 새로운 하한을 확립하며, 오차 확률에 대한 향상된 의존성과 함께 표준 재해상 하한에 대한 간소화된 증명 기법을 제안한다. 또한 샘플된 점의 적대적 손상 상황에서 누적 재해상도에 대한 최초의 동시 하한을 제공하며, 최종 점이 손상된 경우 기존 하한을 강화하여 성공 확률이 2/3 이상일 때까지의 유효성을 연장한다.

ABSTRACT

In this paper, we consider algorithm-independent lower bounds for the problem of black-box optimization of functions having a bounded norm is some Reproducing Kernel Hilbert Space (RKHS), which can be viewed as a non-Bayesian Gaussian process bandit problem. In the standard noisy setting, we provide a novel proof technique for deriving lower bounds on the regret, with benefits including simplicity, versatility, and an improved dependence on the error probability. In a robust setting in which every sampled point may be perturbed by a suitably-constrained adversary, we provide a novel lower bound for deterministic strategies, demonstrating an inevitable joint dependence of the cumulative regret on the corruption level and the time horizon, in contrast with existing lower bounds that only characterize the individual dependencies. Furthermore, in a distinct robust setting in which the final point is perturbed by an adversary, we strengthen an existing lower bound that only holds for target success probabilities very close to one, by allowing for arbitrary success probabilities above $\frac{2}{3}$.

연구 동기 및 목표

• 기존 표준 노이즈가 있는 가우시안 프로세스 밴딧 최적화에 대한 하한에 대해 더 단순하고 유연한 증명 기법을 개발하는 것.
• 샘플이 손상된 상황에서 부패 수준과 시간 영역이 동시에 영향을 미치는 누적 재해상도에 대한 최초의 동시 하한을 설정하는 것.
• 최종 반환 점이 적대자에 의해 훼손되는 강건한 설정에서 기존 하한을 개선하여 성공 확률이 매우 1에 가까운 경우뿐만 아니라 2/3 이상일 때까지도 유효하도록 연장하는 것.
• 특히 적대적 손상 상황에서 비베이지안 GP 밴딧 최적화의 강건성 이론적 이해의 격차를 메우는 것.

제안 방법

• 제어된 RKHS 노름과 변동 행동을 갖는 특별히 구성된 함수 클래스를 사용하여 표준 재해상 하한에 대한 새로운 증명 전략을 제안한다.
• 적대적 손상을 분석하기 위해, 자원이 소진될 때까지 함수 값을 0으로 줄이는 적대자가 존재하는 모델을 도입하며, 알고리즘이 진짜 최고점 위치에 대해 불확실하다는 사실을 활용한다.
• 노이즈 하에서의 구별 가능성 도전을 모델링하기 위해 서로 다른 위치에 좁은 피크를 갖는 함수 클래스를 도입하여, 최적 점을 식별하기 위한 표본 복잡도 분석을 가능하게 한다.
• 정보 이론적 접근을 통해 노이즈가 있는 함수와 좁은 피크가 있는 함수를 구별하기 위해 필요한 표본 수를 제한함으로써 재해상도와 최적화까지의 시간에 대한 하한을 도출한다.
• 특정 성공 확률에 대해서만 작동하는 것이 아니라 임의의 성공 확률에 대해 유효한 하한을 도출하기 위해, 유형의 방법과 패노의 부등식을 수정하여 적용한다.
• 함수 간의 구별이 유일하게 좁고 확률이 낮은 영역 내에서 표본을 채택하는 것에 의존하는 함수 클래스를 구성함으로써, 노이즈 분산에 반비례하는 표본 수의 하한을 유도한다.

실험 결과

연구 질문

• RQ1 기존 하한에 대해 더 단순하고 유연한 증명 기법을 개발할 수 있는가? 이는 오차 확률 δ에 대한 향상된 의존성을 갖는다.
• RQ2 샘플이 손상된 상황에서 누적 재해상도가 부패 수준과 시간 영역에 대해 기본적인 동시 의존성은 무엇인가?
• RQ3 기존의 최종 점 손상에 대한 하한은 성공 확률이 1에 가까운 경우에만 유효한데, 이를 2/3 이상일 때까지 확장할 수 있는가?
• RQ4 함수 클래스의 구조는 강건한 GP 밴딧 최적화에서 정보 이론적 하한에 어떤 영향을 미치는가?

주요 결과

• 제안된 증명 기법은 표준 GP 밴딧 최적화에 대한 기존 하한을 단순화하고 강화하며, 오차 확률 δ에 대한 개선된 의존성을 달성한다.
• 손상된 샘플 상황에서, 결정론적 전략에 대해 Ω(‖R_T^std‖ + C(log T)^{d/2})의 하한을 확립함으로써, 부패 수준 C와 시간 영역 T 사이에 피할 수 없는 동시 의존성이 있음을 보여준다.
• 손상된 최종 점 상황에서, ε-최적화를 확률 2/3 이상으로 달성하기 위해 Ω(1/ε² (log(1/ε))^{d/ν} log(1/δ))의 표본이 필요하다는 점을 입증함으로써 이전 작업을 개선하며, 유효한 성공 확률의 범위를 확장한다.
• 손상된 샘플 케이스에서 분석 결과, 적대자가 구성된 함수 클래스의 적어도 절반 이상에 대해 활성일 경우 재해상도가 Ω(Tε)로 증가하며, 이는 C⋅M⋅T/ε 비례하는 하한을 유도한다.
• 손상된 최종 점 분석에서 사용된 함수 클래스는 함수 간의 구별이 유일하게 좁고 확률이 낮은 영역 내에서 표본을 채택하는 것에 의존하도록 하며, 이로 인해 노이즈에 의해 영향을 받는 각 영역에 대해 Ω(σ²/ε²)의 표본이 필요하다.
• 결과적으로, 동일한 조건 하에서 성공 확률이 2/3일 때와 1에 가까운 경우의 표본 수의 주요 순서가 동일함을 보여주며, 이는 이론적 격차를 메운다.