[논문 리뷰] Horde of Bandits using Gaussian Markov Random Fields

Sharan Vaswani, Mark Schmidt외 1명|arXiv (Cornell University)|2017. 03. 07.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 사회적 그래프를 통해 사용자 선호도 간 의존성을 모델링하기 위해 가우시안 마르코프 무작위 필드(GMRFs)를 사용하는 확장 가능한 문맥적 밴디트 프레임워크인 '밴디츠의 무리(Horde of Bandits)'를 제안한다. GMRF 추론 및 톰슨 샘플링을 위한 편향 기반 샘플링 기법을 활용함으로써, 제한적인 클러스터링 가정 없이도 큰 그래프에 대해 선형 이하의 손실을 달성하고 효율적으로 확장되며, 실험적으로 그래프 무시 기반 및 클러스터링 기반 접근 방식보다 뛰어난 성능을 보인다.

ABSTRACT

The gang of bandits (GOB) model \cite{cesa2013gang} is a recent contextual bandits framework that shares information between a set of bandit problems, related by a known (possibly noisy) graph. This model is useful in problems like recommender systems where the large number of users makes it vital to transfer information between users. Despite its effectiveness, the existing GOB model can only be applied to small problems due to its quadratic time-dependence on the number of nodes. Existing solutions to combat the scalability issue require an often-unrealistic clustering assumption. By exploiting a connection to Gaussian Markov random fields (GMRFs), we show that the GOB model can be made to scale to much larger graphs without additional assumptions. In addition, we propose a Thompson sampling algorithm which uses the recent GMRF sampling-by-perturbation technique, allowing it to scale to even larger problems (leading to a "horde" of bandits). We give regret bounds and experimental results for GOB with Thompson sampling and epoch-greedy algorithms, indicating that these methods are as good as or significantly better than ignoring the graph or adopting a clustering-based approach. Finally, when an existing graph is not available, we propose a heuristic for learning it on the fly and show promising results.

연구 동기 및 목표

• 사용자 수에 대해 제곱 시간 복잡도를 가지는 제한적인 성능을 보이는 '밴디츠의 무리(Gang of Bandits, GOB)' 모델의 확장성 문제를 해결하기 위해.
• 사용자 수가 많은 추천 시스템에서 현실적이지 않은 클러스터링 가정 없이도 효율적인 정보 전달을 가능하게 하기 위해.
• GOB에 적합한 톰슨 샘플링 변종을 개발하여, GMRF의 편향 기반 샘플링 기법을 활용해 대규모 그래프에 대해 확장 가능하도록 하기 위해.
• 사전에 그래프 정보가 제공되지 않을 경우 사용자 그래프와 선호도를 동시에 학습하는 히ュ리스틱을 제안하기 위해.
• 이론적 손실 한계를 설정하고, 기준 모델 및 클러스터링 기반 방법과의 성능 향상을 실증적으로 검증하기 위해.

제안 방법

• 사용자 그래프가 사용자 선호도 사전 분포의 정밀도 행렬(역공분산)을 정의하는 가우시안 마르코프 무작위 필드(GMRF)로 GOB 모델을 재구성한다.
• 희소 그래프에 대해 선형 시간 복잡도를 갖는 해법을 사용하는 GMRF 프레임워크 내 최대 사후확률(MAP) 추정을 통해 사용자 선호도를 효율적으로 추론한다.
• GMRF 문헌에서 유래한 편향 기반 샘플링 기법을 활용해 효율적인 사후 샘플을 생성하는 톰슨 샘플링 알고리즘을 도입한다.
• 전체 행렬 역행렬 계산을 피하는 편향 기반 샘플링 방법을 적용하여 대규모 문제에 대한 확장성을 확보한다.
• 그래프가 제공되지 않을 경우 사용자 그래프와 선호도를 동시에 학습하기 위해 교차 최소화(Alternating Minimization)를 적용한다.
• 시간에 대해 제곱근 비례로 증가하는 하위선형 손실 한계를 이론적으로 유도하며, 이는 그래프 구조와 문제 파라미터에 따라 달라진다.

실험 결과

연구 질문

• RQ1 제한적인 클러스터링 가정 없이도 GOB 모델을 큰 그래프에 대해 확장할 수 있는가?
• RQ2 GMRF 기반 추론 및 샘플링 기법을 활용해 GOB 프레임워크 내에서 효율적인 톰슨 샘플링을 구현할 수 있는가?
• RQ3 제안된 GMRF 기반 GOB 방법의 성능은 그래프 무시 기반 및 클러스터링 기반 기준 대비 손실 및 확장성 측면에서 어떻게 비교되는가?
• RQ4 사전에 그래프 정보가 없을 경우 사용자 선호도와 사회적 그래프 구조를 동시에 학습하는 프레임워크가 효과적일 수 있는가?
• RQ5 제안된 GMRF 기반 톰슨 샘플링 알고리즘에 대해 이론적 손실 한계를 어떻게 설정할 수 있는가?

주요 결과

• 제안된 GMRF 기반 GOB 방법은 사용자 수의 제곱근과 그래프의 유효 차원에 따라 증가하는 하위선형 손실을 달성하며, 강력한 이론적 보장을 보여준다.
• 희소 GMRF 해법 덕분에 원래 GOB 모델의 제곱 시간 복잡도를 피함으로써 대규모 그래프에 대해 효율적으로 확장된다.
• 실증 결과에 따르면 누적 손실 측면에서 그래프 무시 기반 및 클러스터링 기반 접근 방식과 비교해도 성능이 뛰어나거나 동등한 수준을 유지한다.
• 편향 기반 샘플링을 활용한 톰슨 샘플링 변종은 확장 가능한 사후 샘플링을 가능하게 하여 대규모 밴디트 문제에 적합하다.
• 사용자 그래프가 사전에 제공되지 않을 경우의 선호도 및 그래프 구조 동시 학습 히ュ리스틱은 높은 잠재력을 보이며 유망한 성능을 보인다.
• 이론적 분석을 통해 손실은 역라플라시안의 트레이스와 문제 특화 파라미터에 따라 달라지며, 이는 그래프 구조가 학습 효율성에 미치는 영향을 반영한다.