[논문 리뷰] An Empirical Process Approach to the Union Bound: Practical Algorithms for Combinatorial and Linear Bandits

Julian Katz-Samuels, Lalit Jain외 2명|arXiv (Cornell University)|2020. 06. 21.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 20

한 줄 요약

이 논문은 순수 탐색 선형 및 조합적 밴디트에서 유니언 바운드를 위한 새로운 경험적 프로세스 기반 접근법을 제안한다. 암시적 암수에 대한 유니언 바운드를 고려하지 않고, 가우시안 너비를 기반으로 한 설계로 대체한다. 제안된 알고리즘은 암수 집합의 기하학적 성질에 따라 스케일링되는 거의 최적의 샘플 복잡도를 달성하며, 이는 이전 연구에서 흔히 나타나는 $\log(|\mathcal{Z}|)$ 요소를 피하고, 대응하는 이론적 보장을 갖춘 최초의 고정 예산 알고리즘을 제공한다.

ABSTRACT

This paper proposes near-optimal algorithms for the pure-exploration linear bandit problem in the fixed confidence and fixed budget settings. Leveraging ideas from the theory of suprema of empirical processes, we provide an algorithm whose sample complexity scales with the geometry of the instance and avoids an explicit union bound over the number of arms. Unlike previous approaches which sample based on minimizing a worst-case variance (e.g. G-optimal design), we define an experimental design objective based on the Gaussian-width of the underlying arm set. We provide a novel lower bound in terms of this objective that highlights its fundamental role in the sample complexity. The sample complexity of our fixed confidence algorithm matches this lower bound, and in addition is computationally efficient for combinatorial classes, e.g. shortest-path, matchings and matroids, where the arm sets can be exponentially large in the dimension. Finally, we propose the first algorithm for linear bandits in the the fixed budget setting. Its guarantee matches our lower bound up to logarithmic factors.

연구 동기 및 목표

• 순수 탐색 선형 밴디트에서 암수에 대한 난이도 높은 유니언 바운드로 인해 발생하는 $\log(|\mathcal{Z}|)$ 요소를 샘플 복잡도 한계에서 제거하기 위해.
• 지수적으로 큰 암수 집합을 가진 조합적 밴디트(예: 최단 경로, 매칭, 매트로이드)에 대해 계산적으로 효율적인 실험 설계를 개발하기 위해.
• 암수 집합의 가우시안 너비를 기반으로 한 새로운 하한을 설정하여 기본 샘플 복잡도 한계를 특성화하기 위해.
• 고정 예산 조건에서 최초로 대응하는 이론적 보장을 갖춘 전이형 선형 밴디트에 대한 고정 예산 알고리즘을 제공하기 위해.
• 특히 고차원 및 조합적 설정에서 기존 방법들에 비해 경험적으로 뛰어난 성능을 보여주기 위해.

제안 방법

• 가우시안 프로세스의 최대값을 모델링하고 기대 최대값을 최소화하는 실험 설계를 유도하기 위해 TIS 부등식을 사용한다.
• 암수 집합 $\mathcal{Z}$의 가우시안 너비를 기반으로 한 새로운 실험 설계 목표를 정의하여, 최악의 분산 최소화(예: G-최적 설계)를 대체한다.
• 분포 $\lambda \in \Delta$ 에서의 완화된 최적화 문제를 해결하여 $\mathbb{E}_{\eta \sim N(0,I)}[\max_{z \in \mathcal{Z}_k} (\hat{z}_k - z)^\top A(\lambda)^{-1/2} \eta]$ 를 최소화한다. 이는 현재 최고의 암수와의 차이에 집중한다.
• 두 단계의 근사 방법을 구현한다: 먼저 $A(\lambda)^{-1}$-메트릭에서 기대 최대 편차와 최대 노름을 각각 최소화한 후, 그 결과 설계를 평균화한다.
• 2,000개의 샘플을 사용하여 가우시안 너비를 추정하기 위해 $\lambda \in \Delta$ 에서의 확률적 미러 강하 알고리즘을 구현한다.
• 신뢰도 기반 정지 규칙을 예산 제약 조건에 맞는 추천으로 대체하여 고정 예산 설정에 알고리즘을 적응시킨다.

실험 결과

연구 질문

• RQ1 암수 집합의 기하학적 측정치로 암시적 유니언 바운드를 대체함으로써 샘플 복잡도에서 $\log(|\mathcal{Z}|)$ 요소를 제거할 수 있는가?
• RQ2 가우시안 너비는 순수 탐색 선형 밴디트의 샘플 복잡도를 규정하는 기본적인 양인가?
• RQ3 암수 집합의 기하학적 성질에 따라 스케일링되며 크기와는 무관하게 계산적으로 효율적인 알고리즘을 조합적 밴디트에 대해 설계할 수 있는가?
• RQ4 고정 예산 선형 밴디트에 대한 최적의 실험 설계는 무엇이며, 고정 신뢰도 보장과 비교해 볼 때 어떻게 다른가?
• RQ5 제안된 알고리즘이 조합적 및 전이형 설정에서 최신 기준 방법들에 비해 경험적으로 어떻게 성능을 발휘하는가?

주요 결과

• 고정 신뢰도 알고리즘의 샘플 복잡도는 새로운 가우시안 너비 기반 하한과 상수 인자 범위 내에서 일치하며, $\log(|\mathcal{Z}|)$ 페널티를 피한다.
• 최단 경로, 매칭, 매트로이드와 같은 조합적 클래스에서는 암수 집합의 크기가 지수적으로 증가하더라도 알고리즘이 계산적으로 효율적이다.
• 이중 그래프 탐지 실험에서, 최고의 이중 그래프와 두 번째로 좋은 이중 그래프 사이의 갭이 작을 경우($h = 0.2$), 제안된 알고리즘(Peace)이 DisRegion보다 3배 이상 적은 샘플을 필요로 했다.
• 대부분의 표준 설정에서 고정 예산 알고리즘은 하한과 $\log(d)$ 인자 범위 내에서 일치하는 성능을 달성한다.
• 특히 최적 암수와 비최적 암수 사이의 갭이 작을 경우, 여러 조합적 밴디트 설정에서 기존 방법들보다 한 단계 높은 성능을 보였다.
• 설계 계산에 상위-$k$ 암수 차이만 사용하는 것이 정당화되고 효율적인 근사로 이어지며, 정확성에 손실가 없다.