[논문 리뷰] Analysis of Thompson Sampling for Graphical Bandits Without the Graphs

Fang Liu, Zizhan Zheng외 1명|arXiv (Cornell University)|2018. 05. 23.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 피드백 그래프를 알지 못하는 그래픽스 밴디트 문제에서 톰슨 샘플링을 분석하여, 표준 톰슨 샘플링(TS-N)이 무방향 케이스에서는 최적의 리그레트 $\tilde{O}(\sqrt{\beta_0(G)T})$ 를 달성하고, 유 방향 케이스에서는 거의 최적의 경계를 확보함을 보여준다. 수정된 변형인 TS-U는 톰슨 샘플링과 균일 탐색을 조합하여, 그래프 지식이 없고 효율적으로 구현 가능한 상황에서 유 방향 설정에서 최적의 리그레트를 로그 인자 범위 내에서 달성한다.

ABSTRACT

We study multi-armed bandit problems with graph feedback, in which the decision maker is allowed to observe the neighboring actions of the chosen action, in a setting where the graph may vary over time and is never fully revealed to the decision maker. We show that when the feedback graphs are undirected, the original Thompson Sampling achieves the optimal (within logarithmic factors) regret $ ilde{O}\left(\sqrt{β_0(G)T} ight)$ over time horizon $T$, where $β_0(G)$ is the average independence number of the latent graphs. To the best of our knowledge, this is the first result showing that the original Thompson Sampling is optimal for graphical bandits in the undirected setting. A slightly weaker regret bound of Thompson Sampling in the directed setting is also presented. To fill this gap, we propose a variant of Thompson Sampling, that attains the optimal regret in the directed setting within a logarithmic factor. Both algorithms can be implemented efficiently and do not require the knowledge of the feedback graphs at any time.

연구 동기 및 목표

• 피드백 그래프를 알지 못하고 시간에 따라 변하는 상황에서 그래픽스 밴디트 문제에서 톰슨 샘플링을 분석하기 위해.
• 표준 톰슨 샘플링이 성능이 열등한 유 방향 피드백 그래프에서 리그레트 성능 격차를 해소하기 위해.
• 그래프 지식이 없이도 유 방향 설정에서 최적의 리그레트를 달성하는 톰슨 샘플링의 변형을 설계하기 위해.
• 그래프 프라이버시나 액세스 제한이 있는 실세계 응용 분야에 실용적이고 효율적인 알고리즘을 제공하기 위해.
• 오직 조합적 그래프 성질(예: 평균 독립 수 $\beta_0(G)$)에만 의존하는 이론적 리그레트 경계를 수립하기 위해.

제안 방법

• 피드백 그래프 지식이 없을 경우, 이웃 행동으로부터 관측된 보상을 기반으로 사후 분포에서 행동 가치를 샘플링하고 업데이트하는 표준 톰슨 샘플링 알고리즘인 TS-N을 제안한다.
• 확률 $\epsilon_t$ 에서 균일하게 행동을 무작위로 선택하여 탐색을 보장하는 하이브리드 알고리즘인 TS-U를 도입한다. 이는 유 방향 그래프에서 성능 향상에 기여한다.
• 무방향 피드백 그래프에서 리그레트를 제한하기 위해 평균 독립 수 $\beta_0(G)$ 를 핵심 그래프 복잡도 측정 기준으로 사용한다.
• 집중 불등식과 리그레트 분해 기법을 적용하여 누적 리그레트의 고확률 경계를 유도한다.
• 알론 등(2014)의 레미 3의 변형을 사용하여 결과를 무방향 그래프의 지배 집합으로 확장한다.
• 에르되시-레니 그래프와 시간 불변 구조를 사용한 수치 실험을 통해 실증적 성능를 검증한다.

실험 결과

연구 질문

• RQ1 표준 톰슨 샘플링은 피드백 그래프를 알지 못하는 무방향 그래픽스 밴디트 설정에서 최적의 리그레트를 달성할 수 있는가?
• RQ2 왜 표준 톰슨 샘플링은 유 방향 그래픽스 밴디트 설정에서 최적의 리그레트를 달성하지 못하는가?
• RQ3 균일 탐색을 통합한 수정된 톰슨 샘플링 알고리즘이 유 방향 그래픽스 밴디트 설정에서 최적의 리그레트를 회복할 수 있는가?
• RQ4 그래프 지식이 없는 무지식 설정에서 톰슨 샘플링이 달성할 수 있는 가장 날카로운 리그레트 경계는 무엇인가?
• RQ5 시간에 따라 변하는 및 시간 불변 피드백 그래프에서 톰슨 샘플링의 성능은 UCB-N 및 코헨의 알고리즘과 비교해 어떻게 되는가?

주요 결과

• 무방향 그래픽스 밴디트 설정에서 톰슨 샘플링(TS-N)은 $\tilde{O}(\sqrt{\beta_0(G)T})$ 의 리그레트 경계를 달성하며, 이는 로그 인자 범위 내에서 최적이다.
• 유 방향 설정에서 표준 톰슨 샘플링은 $O(\sqrt{mas(G)T\log K})$ 의 리그레트를 달성하며, 이는 최적이 아니다.
• 제안된 TS-U 변형은 톰슨 샘플링과 균일 샘플링을 조합하여, 유 방향 케이스에서 $O(\sqrt{\beta_0(G)T\log K\log(KT)})$ 의 리그레트를 달성하며, 이는 로그 인자 범위 내에서 최적이다.
• 수치 결과는 TS-N과 TS-U가 시간 불변 및 시간 변화가 있는 그래프 설정 모두에서 UCB-N과 코헨의 알고리즘을 능가함을 보여준다.
• 리그레트 경계는 $\beta_0(G)$ 에 대한 $K$ (행동 수) 의 의존성에서 독립적이므로, 큰 행동 집합에 대해 확장 가능하다.
• 분석 과정에서 정보 지향 샘플링 알고리즘(IDS-N 및 IDSN-LP)의 이론적 리그레트 경계가 무지식 설정 외부에서도 향상됨을 부가적으로 밝혀냈다.