[논문 리뷰] Information Directed Sampling for Stochastic Bandits with Graph Feedback

Fang Liu, Swapna Buccapatnam외 1명|arXiv (Cornell University)|2017. 11. 08.

Advanced Bandit Algorithms Research인용 수 20

한 줄 요약

이 논문은 시간에 따라 변하는 그래프 피드백을 갖는 스토하스틱 다익음 밴드잇 문제에 대해 정보 지향 샘플링(Information Directed Sampling, IDS) 기반 정책을 제안한다. 여기서 한 행동을 관측하면 이웃한 행동들로부터의 보상도 함께 관측된다. 논문은 결정론적 경우에서는 그래프의 클리크 커버 수에 비례하고, 무작위 에르되시-레니 그래프 경우에서는 행동 수 대 기대 관측 수의 비율에 비례하는 베이지안 리그레트 경계를 확립한다. 이는 랜덤 그래프 피드백을 갖는 스토하스틱 밴드잇 문제에 대해 처음으로 이론적 보장을 제공한다. 수치적 평가에서 제안된 IDS 정책은 톰슨 샘플링, UCB, 그리고 ε-그리디 적응 방식을 모두 능가한다.

ABSTRACT

We consider stochastic multi-armed bandit problems with graph feedback, where the decision maker is allowed to observe the neighboring actions of the chosen action. We allow the graph structure to vary with time and consider both deterministic and Erdős-Rényi random graph models. For such a graph feedback model, we first present a novel analysis of Thompson sampling that leads to tighter performance bound than existing work. Next, we propose new Information Directed Sampling based policies that are graph-aware in their decision making. Under the deterministic graph case, we establish a Bayesian regret bound for the proposed policies that scales with the clique cover number of the graph instead of the number of actions. Under the random graph case, we provide a Bayesian regret bound for the proposed policies that scales with the ratio of the number of actions over the expected number of observations per iteration. To the best of our knowledge, this is the first analytical result for stochastic bandits with random graph feedback. Finally, using numerical evaluations, we demonstrate that our proposed IDS policies outperform existing approaches, including adaptions of upper confidence bound, $ε$-greedy and Exp3 algorithms.

연구 동기 및 목표

• 시간에 따라 변하는 그래프 피드백을 갖는 스토하스틱 밴드잇 문제에 대해 리그레트를 최소화하는 정책을 개발한다. 이 경우 이웃 행동들로부터의 사이드 관측이 가능하다.
• 결정론적 그래프의 구조를 의사결정 과정에 통합함으로써 기존의 톰슨 샘플링 및 UCB 기반 접근법을 향상시키는 것을 목표로 한다.
• 랜덤 그래프 피드백(에르되시-레니 모델) 하에서 스토하스틱 밴드잇 문제에 대해 처음으로 이론적 베이지안 리그레트 경계를 확립한다.
• 그래프의 구조를 활용함으로써 IDS 기반 정책이 톰슨 샘플링보다 더 나은 리그레트 스케일링을 달성할 수 있는지 탐구한다.
• 시간 불변 및 시간 변화가 있는 그래프 피드백 상황에서 제안된 정책의 성능을 기존 밴드잇 알고리즘들과 비교 평가한다.

제안 방법

• IDS-N, IDSN-LP, IDS-LP 세 가지 IDS 기반 정책을 제안하며, 기대 제곱 리그레트 대 정보 수확의 비율을 최소화하는 방식으로 행동을 선택한다.
• 기존 연구보다 더 날카운 리그레트 경계를 도출하는 새로운 톰슨 샘플링 분석(TS-N)을 도입하며, 이는 그래프의 클리크 커버 수에 의존한다.
• 정보 이론 원리를 활용해 탐색과 이용의 균형을 이루며, 그래프 구조적 관측으로부터의 불확실성과 정보 수확을 명시적으로 모델링한다.
• 시간에 따라 변하는 구조를 갖는 결정론적 그래프와 에르되시-레니 모델에 의해 생성된 랜덤 그래프를 모두 분석하며, 사이드 관측이 확률적으로 삭제되는 경우를 고려한다.
• 베이지안 리그레트 분석을 활용해 문제 독립적 경계를 유도하며, 클리크 커버 수와 지배 수와 같은 그래프의 구조적 특성에 비례하도록 한다.
• IDS-LP와 IDSN-LP에서 선형계획법 기반 및 근사 전략을 적응시켜 순간 리그레트를 최소화하면서 탐색을 강화한다.

실험 결과

연구 질문

• RQ1 스토하스틱 밴드잇 문제에서 그래프 피드백을 갖는 IDS 기반 정책이 톰슨 샘플링보다 더 나은 리그레트 스케일링을 달성할 수 있는가?
• RQ2 시간에 따라 변하는 결정론적 그래프 피드백 하에서 스토하스틱 밴드잇 문제의 이론적 베이지안 리그레트 경계는 무엇인가?
• RQ3 특히 에르되시-레니 모델에서 랜덤 그래프 피드백 하에서 IDS 기반 정책의 성능은 어떻게 스케일링되는가?
• RQ4 IDS 기반 정책에서 클리크 커버 수를 초월한 그래프 매개변수(예: 독립 수)를 활용해 리그레트 경계를 향상시킬 수 있는가?
• RQ5 결정론적 및 랜덤 그래프 피드백 환경에서 IDS 기반 정책이 UCB, ε-그리디, Exp3 적응 방식과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 IDS-N, IDSN-LP, IDS-LP 정책는 결정론적 경우에서 그래프의 클리크 커버 수에 비례하는 베이지안 리그레트 경계를 달성하며, 이는 톰슨 샘플링의 이론적 성능를 따라가지만 더 우수한 실험적 성능를 보인다.
• 이 논문은 랜덤 그래프 피드백을 갖는 스토하스틱 밴드잇 문제에 대해 문제 독립적 베이지안 리그레트 경계를 처음으로 확립하며, 이 경계는 행동 수 대 각 반복에서의 기대 관측 수의 비율에 비례한다.
• 수치적 평가 결과, IDS 기반 정책은 시간 불변 및 시간 변화가 있는 그래프 피드백 상황에서 모두 TS-N, UCB-N, εt-greedy-LP, Exp3-SET/Exp3-Res를 능가한다.
• IDS-LP는 행동 수에 비례하는 리그레트 경계를 갖지만, 순간 리그레트를 근사적으로 최소화하고 보장된 탐색 전략을 통해 우수한 성능를 발휘한다.
• 기존 방법 대비 IDS 기반 정책의 성능 향상은 정보 지향적 의사결정 과정에서 그래프 구조를 명시적으로 활용한 데 기인한다.
• 결과적으로, 독립 수와 같은 그래프 매개변수를 활용해 IDS 기반 정책의 리그레트 경계를 더 날카롭게 다잡는 것은 여전히 열린 문제로 남아 있다.