[논문 리뷰] Stochastic Process Bandits: Upper Confidence Bounds Algorithms via Generic Chaining

Emile Contal, Nicolas Vayatis|arXiv (Cornell University)|2016. 02. 16.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 6

한 줄 요약

이 논문은 일반 체이닝을 활용하여 계층적 이산화 트리를 구성함으로써 연속 도메인에서의 스토하스틱 프로세스 밴디트 문제를 위한 새로운 상한 신뢰도(UCB) 알고리즘을 제안한다. 약한 확률적 연속성 가정 하에 최신 기술 수준의 리그레트 한계를 달성하며, 가우시안 프로세스에 대해 날카운드한 하한을 증명함으로써 UCB의 적용 범위를 무한차원 함수 공간, 특히 이차형식과 같은 비선형 함수성으로 확장한다.

ABSTRACT

The paper considers the problem of global optimization in the setup of stochastic process bandits. We introduce an UCB algorithm which builds a cascade of discretization trees based on generic chaining in order to render possible his operability over a continuous domain. The theoretical framework applies to functions under weak probabilistic smoothness assumptions and also extends significantly the spectrum of application of UCB strategies. Moreover generic regret bounds are derived which are then specialized to Gaussian processes indexed on infinite-dimensional spaces as well as to quadratic forms of Gaussian processes. Lower bounds are also proved in the case of Gaussian processes to assess the optimality of the proposed algorithm.

연구 동기 및 목표

• 기존 UCB 알고리즘이 유한한 행동 공간을 필요로 하는 한계를 해결하기 위해 연속 도메인에서도 작동할 수 있도록 하기 위해.
• 밴디트 최적화에서 강한 연속성 가정(예: 리프시츠 조건)을 완화하기 위해 확률적 연속성 조건을 도입하기 위해.
• 가우시안 프로세스의 이차형식과 같은 복잡한 함수성으로의 UCB 전략 적용 범위를 넓히기 위해.
• 고확률 리그레트 한계와 가우시안 프로세스 밴디트 문제에 대한 하한을 보장하는 이론적 근거를 제공하기 위해.
• 최적의 체이닝 트리를 구성하기 위한 계산 효율적인 알고리즘을 개발하여 시간 복잡도를 이차 수준으로 유지하기 위해.

제안 방법

• 입력 공간 X 위에 공분산 구조에서 유도된 거리 척도를 사용하여 중첩된 εh-넷의 시퀀스를 구성함으로써 계층적 트리 구조를 형성하기 위해.
• 깊이에 따라 적응적으로 정밀도를 높임으로써 탐색과 정확도의 균형을 유지함으로써 일반 체이닝을 사용해 이산화 오차를 제어하기 위해.
• 트리 균형을 유지하기 위해 후방 가지치기 기법을 적용하여, 깊이 h에서 각 노드의 자식 수가 e^{2^h}를 초과하지 않도록 하기 위해.
• 가지치기 지도를 위한 노드 값 할당에 반집중 불등식을 사용하여, 향후 개선 가능성이 높은 분지를 우선시하기 위해.
• 부모 노드로부터의 큰 이탈 확률을 정량화하는 함수 φ(α, Δ, m, u)를 기반으로 노드 값 Vh(s)를 정의하기 위해.
• 체이닝 기반 분산 추정치에서 유도된 신뢰구간과 트리 기반 UCB 선택을 통합하여 누적 리그레트를 최소화하기 위해.

실험 결과

연구 질문

• RQ1 강한 연속성 가정(예: 리프시츠 연속성)이 필요로 하지 않는 조건에서 UCB 알고리즘이 연속 도메인으로 확장될 수 있는가?
• RQ2 일반 체이닝은 어떻게 조정되어 스토하스틱 프로세스 밴디트 문제에서 이산화 오차를 제어하는 계층적 이산화를 만들 수 있는가?
• RQ3 무한차원 공간에서의 가우시안 프로세스에 대해 리그레트를 최소화하는 데 최적의 깊이와 트리 구조는 무엇인가?
• RQ4 이차형식과 같은 비선형 함수성에 대해 고확률 리그레트 및 하한을 날카롭게 유도할 수 있는가?
• RQ5 입력 공간의 미터릭 엔트로피가 낮더라도, 제안된 알고리즘이 상수 요소의 차이를 제외하고는 리그레트 측면에서 최적인가?

주요 결과

• 약한 확률적 연속성 가정 하에 제안된 알고리즘이 고확률 보장을 제공하며, 스토하스틱 프로세스에 대해 최신 기술 수준의 리그레트 한계를 달성한다.
• 알고리즘은 O(|X|²) 시간 내에 일반 체이닝 트리를 구성하여 실용적 사용에 있어 계산 가능성을 확보한다.
• 새로운 후방 가지치기 절차는 트리 균형을 보장하며 고확률 하한을 가능하게 하여 이전 연구와의 핵심적 혁신이다.
• 메서드는 고확률 하한 sup_x≻s f(x)−f(s) ≥ c_u sup_x≻s ∑_{i>h} Δ_i(x)2^{i/2} 를 확률 1−e^{-u} 이상로 증명한다.
• 이 프레임워크는 가우시안 프로세스의 비트리비얼 함수성(예: 제곱합, 타원체 위의 비모수적 과정)을 성공적으로 처리하였으며, 이는 이전 연구에서 추측된 불가능성 문제를 해결한다.
• 하한은 알고리즘의 이산화 전략이 낮은 미터릭 엔트로피 공간(예: 타원체)에서도 상수 요소의 차이를 제외하고 최적이라는 것을 확인한다.