[논문 리뷰] Feedback graph regret bounds for Thompson Sampling and UCB

Thodoris Lykouris, Éva Tardos외 1명|arXiv (Cornell University)|2019. 05. 23.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 그래프 기반 피드백을 갖는 스토케스틱 다익음 밴딧에서 톰슨 샘플링과 상한 신뢰 구간(UCB)이 그래프의 구조와 암 갭 파라미터를 조합함으로써, 탐색에 그래프를 명시적으로 사용하지 않더라도 성능 한계를 확립한다. 핵심 결과는 $\mathcal{O}\left(\max_{I\in\mathcal{I}(G)}\sum_{a\in I}\frac{\ln T \ln(kT)}{\Delta(a)}\right)$ 의 기대적 성능 한계를 갖는 것으로, 여기서 $I$ 는 피드백 그래프 $G$ 의 독립집합이며, $\Delta(a)$ 는 암 $a$ 의 갭이다. 분석 결과, 이러한 고전적 알고리즘들은 수정 없이도 부분 피드백을 자연스럽게 활용함을 보여준다.

ABSTRACT

We study the stochastic multi-armed bandit problem with the graph-based feedback structure introduced by Mannor and Shamir. We analyze the performance of the two most prominent stochastic bandit algorithms, Thompson Sampling and Upper Confidence Bound (UCB), in the graph-based feedback setting. We show that these algorithms achieve regret guarantees that combine the graph structure and the gaps between the means of the arm distributions. Surprisingly this holds despite the fact that these algorithms do not explicitly use the graph structure to select arms; they observe the additional feedback but do not explore based on it. Towards this result we introduce a "layering technique" highlighting the commonalities in the two algorithms.

연구 동기 및 목표

• 맨놀러와 케이머가 도입한 그래프 기반 피드백 밴딧 설정에서 톰슨 샘플링과 UCB의 성능을 분석하는 것.
• 이러한 고전적 알고리즘이 이웃 암으로부터의 부분 피드백을 활용함으로써 개선된 성능 한계를 달성할 수 있는지 확인하는 것.
• 암의 평균 갭과 함께 그래프의 구조(독립집합을 통해)에 의존하는 성능 한계를 수립하는 것.
• 선택 규칙을 수정하지 않고도 관측된 피드백을 통합함으로써 성능 향상을 달성할 수 있음을 보여주는 것.

제안 방법

• UCB와 톰슨 샘플링의 분석을 통합하기 위해 층화 기법을 도입하여 공통적인 구조적 성질을 부각한다.
• 각 단계에서 성능 한계를 분석하기 위해 갭 수준 $\phi$ 에 기반한 암의 분할을 정의한다. $\mathcal{V}_\phi$ 는 갭이 $[2^{-\phi-1}, 2^{-\phi})$ 에 속하는 암을 포함한다.
• 집중 불등식과 尾확률 한계(예: Agrawal과 Goyal [AG13])를 사용하여 샘플된 평균이 진짜 평균에서 벗어나지 않도록 제어한다.
• 서브옵티멀 암이 진짜 평균에서 멀리 떨어진 경험적 평균을 가질 때 선택되는 횟수를 독립성과 갭 기반 추론을 통해 제한한다.
• 선택의 초기(포화되지 않은) 단계와 후기(포화된) 단계를 구분하기 위해 포화 임계값 $L_a$ 를 도입한다.
• 피드백 그래프 $G$ 의 독립수 $\alpha$ 를 활용하여 모든 독립집합 $I \in \mathcal{I}(G)$ 에 대해 최악의 경우 성능 한계를 유도한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링과 UCB는 피드백 밴딧 모델에서 그래프의 구조와 암 갭 파라미터를 동시에 반영한 성능 한계를 달성할 수 있는가?
• RQ2 UCB와 톰슨 샘플링에서 그래프 기반 탐색이 명시적으로 사용되지 않는다는 점이 부분 피드백의 이점을 얻는 것을 방해하는가?
• RQ3 이 알고리즘의 성능 한계는 피드백 그래프의 독립수와 최소 갭 $\Delta(a)$ 와 어떻게 스케일링되는가?
• RQ4 성능 한계에 포함된 추가 로그 인자(로그 팩터)는 알고리즘 자체의 본질적인 특성인지, 분석 방법의 한계인가?

주요 결과

• 톰슨 샘플링의 기대 성능 한계는 $\mathcal{O}\left(\max_{I\in\mathcal{I}(G)}\sum_{a\in I}\frac{\ln T \ln(kT)}{\Delta(a)}\right)$ 이며, 여기서 $\mathcal{I}(G)$ 는 피드백 그래프 $G$ 의 모든 독립집합의 집합이다.
• 성능 한계는 최대 독립집합 크기 $\alpha$ 에 비례하여 스케일링되며, 이로 인해 $\mathcal{O}(\sqrt{\alpha T \ln T \ln(kT)})$ 의 갭에 무관한 성능 한계를 도출한다.
• 분석 결과, UCB와 톰슨 샘플링는 선택 규칙을 수정하지 않고도 이웃 암으로부터의 피드백을 흡수함으로써 향상된 성능을 달성함을 보여준다.
• 성능 한계는 암을 갭 크기 기반으로 분할하고 각 층의 선택 확률을 제한하는 새로운 층화 기법을 통해 유도된다.
• 이전 연구(예: Buccapatnam 등)와 비교해 성능 한계에 포함된 추가 로그 인자가 분석 방법의 본질적인 특성일 수 있음을 보여주며, 알고리즘 자체의 특성은 아님을 밝힌다.
• 결과적으로 고전적 밴딧 알고리즘들이 그래프 기반 피드백 구조를 명시적으로 탐색하지 않더라도 암묵적으로 활용할 수 있음을 보여준다.