[논문 리뷰] Time-Varying Gaussian Process Bandit Optimization

Ilija Bogunovic, Jonathan Scarlett외 1명|arXiv (Cornell University)|2016. 01. 25.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 35

한 줄 요약

이 논문은 보상 함수가 시간에 따라 변화하는 시간 변화형 가우시안 프로세스 밴딧 최적화를 위한 두 가지 새로운 알고리즘, R-GP-UCB와 TV-GP-UCB를 제안한다. 함수를 마르코프성 가정 하에 시간에 따라 변화하는 GP로 모델링함으로써, 주기적인 리셋 또는 부드러운 기억 상실을 통해 탐색과 이용의 균형을 이루며, 시간 간격과 함수 변화율 간의 상호 작용을 명시적으로 정량화하는 복귀 한계를 달성한다.

ABSTRACT

We consider the sequential Bayesian optimization problem with bandit feedback, adopting a formulation that allows for the reward function to vary with time. We model the reward function using a Gaussian process whose evolution obeys a simple Markov model. We introduce two natural extensions of the classical Gaussian process upper confidence bound (GP-UCB) algorithm. The first, R-GP-UCB, resets GP-UCB at regular intervals. The second, TV-GP-UCB, instead forgets about old data in a smooth fashion. Our main contribution comprises of novel regret bounds for these algorithms, providing an explicit characterization of the trade-off between the time horizon and the rate at which the function varies. We illustrate the performance of the algorithms on both synthetic and real data, and we find the gradual forgetting of TV-GP-UCB to perform favorably compared to the sharp resetting of R-GP-UCB. Moreover, both algorithms significantly outperform classical GP-UCB, since it treats stale and fresh data equally.

연구 동기 및 목표

• 실제 응용 사례인 센서 네트워크와 추천 시스템 등에서 흔히 발생하는 보상 함수가 시간에 따라 변화하는 상황에서 순차적 베이지안 최적화의 과제를 해결하기 위해.
• 오래된 데이터와 최신 데이터를 구분하는 알고리즘을 개발하여, 오래된 관측치를 동일한 정보량으로 간주함으로써 초래되는 성능 저하를 방지하기 위해.
• 시간에 따라 변화하는 보상 함수를 마르코프성 진화 모델을 갖춘 가우시안 프로세스로 모델링하여 시간적 및 공간적 상관관계를 모두 포착하기 위해.
• 시간 간격과 함수 변화율 간의 상호 작용을 명시적으로 기술하는 이론적 복귀 한계를 제공하기 위해.
• 부드러운 기억 상실(TV-GP-UCB)이 날카로운 리셋(R-GP-UCB)과 전통적 GP-UCB보다 동적 환경에서 더 우수한 성능을 보임을 경험적으로 입증하기 위해.

제안 방법

• 시간에 따라 변화하는 보상 함수를 마르코프 모델을 따르는 가우시안 프로세스로 모델링하며, 이전 함수와 독립적 동일분포(GP) 샘플의 볼륨 조합을 사용한다.
• R-GP-UCB를 제안하여 정기적인 간격으로 GP 사후분포를 리셋함으로써 오래된 데이터를 기각하고 최신 관측치에 집중함을 보장한다.
• TV-GP-UCB를 도입하여 기하급수적 기억 상실을 적용하여 오래된 데이터의 영향을 점진적으로 감소시킴으로써 함수 변화에 부드럽게 적응하도록 한다.
• 함수 최댓값과 그 위치의 급격한 변화로 인한 불안정성에 대응하기 위해 새로운 분석 기법을 사용하여 두 알고리즘의 복귀 한계를 유도한다.
• 이차 테일러 전개와 농도 부등식을 사용하여 복귀 한계를 함수의 변화율, 커널의 매끄러움 정도, 시간 간격의 함수로 유계화한다.
• 알고리즘에 종속되지 않는 누적 복귀의 하한을 확립하여 유도된 상한이 로그 인자 외에는 타당함을 보여준다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 보상 함수를 효과적으로 다루면서도 순차 최적화에서 낮은 복귀를 달성할 수 있는 밴딧 알고리즘을 어떻게 설계할 수 있는가?
• RQ2 시간에 따라 변화하는 함수가 존재할 때 탐색, 이용, 기억 상실 간의 최적의 상호 작용은 무엇인가?
• RQ3 날카로운 리셋과 부드러운 기억 상실과 같은 다양한 기억 상실 전략이 동적 환경에서 성능에 어떤 영향을 미치는가?
• RQ4 시간에 따라 변화하는 GP 밴딧 알고리즘에 대해 유도할 수 있는 이론적 복귀 한계는 무엇이며, 이는 함수의 변화율과 시간 간격에 어떻게 의존하는가?
• RQ5 제안된 알고리즘이 데이터가 오래된 실세계의 동적 환경에서 전통적 GP-UCB보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 부드러운 기억 상실을 사용하는 제안된 TV-GP-UCB 알고리즘이, 날카로운 리셋을 사용하는 R-GP-UCB보다 합성 및 실세계 실험 모두에서 점진적인 함수 변화가 발생하는 상황에서 뛰어난 성능을 보였다.
• R-GP-UCB와 TV-GP-UCB 모두 시간 간격과 함수 변화율에 명시적으로 의존하는 복귀 한계를 달성하여, 이 두 요소 간의 체계적인 상호 작용을 입증했다.
• 제곱형 지수 및 매트른 커널의 경우 함수 변화율이 유계일 때 복귀 한계가 O(√(T log T))로 척도가 조정되며, 매끄러움 조건 하에서 거의 최적의 성능를 보였다.
• 누적 복귀에 대한 알고리즘에 종속되지 않는 하한은 Ω(Tε)이며, 여기서 ε는 함수 변화율을 정량화하는 데 사용되며, 상한이 로그 인자 외에는 타당함을 시사한다.
• 전통적 GP-UCB는 모든 데이터를 동일한 중요도로 간주하므로 시간에 따라 변화하는 환경에서는 성능이著しく 열 劣하며, 동적 환경에 대한 적응 능력이 떨어진다.
• 교통 속도 데이터셋에 대한 경험적 결과는 TV-GP-UCB가 여러 일간의 기간 동안 기준 방법보다 항상 낮은 복귀를 달성하며, 실세계의 동적 시스템에서의 강건성을 확인했다.