[논문 리뷰] Online Clustering of Bandits

Claudio Gentile, Shuai Li외 1명|arXiv (Cornell University)|2014. 01. 31.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 97

한 줄 요약

이 논문은 사용자 선호도가 유사한 사용자를 적응적으로 군집화하여 추천 성능을 햖थ하는 새로운 온라인 클러스터링 알고리즘인 CLUB을 제안한다. 신뢰구를 사용하여 사용자 유사도를 추정하고 클러스터 간 피드백을 공유함으로써, CLUB은 총 사용자 수 $n$ 대신 클러스터 수 $m$에 의존하는 $O(\sqrt{T})$의 리그레트 바운드를 달성하여 실세계 및 시뮬레이션 데이터셋에서 확장성과 성능을 크게 향상시킨다.

ABSTRACT

We introduce a novel algorithmic approach to content recommendation based on adaptive clustering of exploration-exploitation ("bandit") strategies. We provide a sharp regret analysis of this algorithm in a standard stochastic noise setting, demonstrate its scalability properties, and prove its effectiveness on a number of artificial and real-world datasets. Our experiments show a significant increase in prediction performance over state-of-the-art methods for bandit problems.

연구 동기 및 목표

• 사용자 유사성을 활용하여 대규모 콘텐츠 추천 시스템에서 확장성과 개인화 간의 상충 관계를 해결하기 위해.
• 사전에 클러스터 정보가 없이도 사용자 반응 패턴에 기반해 적응적으로 클러스터를 형성하는 온라인 알고리즘을 개발하기 위해.
• 사용자 수에 따라 효율적으로 확장되면서도 스 tochastic linear 밴딧 설정에서 낮은 리그레트를 달성하기 위해.
• 동적 클러스터링을 통해 유사한 사용자 간에 효과적인 피드백 공유를 가능하게 하여 예측 성능을 향상시키기 위해.
• 실세계 추천 시스템에 대량으로 구현 가능한 이론적으로 탄탄하고 계산 효율적인 솔루션을 제공하기 위해.

제안 방법

• CLUB는 추정된 사용자 모델 주변의 신뢰구를 사용하여 유사한 행동 패턴을 보이는 사용자를 식별하고 군집화한다.
• 알고리즘은 단일 글로벌 밴딧 정책과 각 사용자별로 완전히 개인화된 정책 사이를 동적으로 보간한다.
• 사용자는 그들의 신뢰구의 겹침 정도에 따라 군집화되며, 무작위 그래프 구조에서 연결된 성분을 이용해 클러스터를 정의한다.
• 동일한 클러스터 내 사용자 간에 피드백을 공유함으로써 학습 속도를 높이고 리그레트를 감소시킨다.
• 효율적인 대규모 배포를 위해 표준 데이터 구조와 무작위 그래프 기법을 활용한다.
• 스토하스틱 선형 보상 모델 하에서 이론적 리그레트 분석을 수행하였으며, $m$과 클러스터 기하학적 구조에 따라 결정되는 상수를 포함한 $O(\sqrt{T})$ 리그레트를 도출하였다.

실험 결과

연구 질문

• RQ1 사용자 간 온라인 클러스터링이 개별 밴딧 학습 대비 리그레트 성능 향상에 기여할 수 있는가?
• RQ2 클러스터에 대한 사전 지식 없이 실시간으로 사용자 유사도를 추정하고 활용할 수 있는가?
• RQ3 유사한 사용자 간 피드백을 공유하는 클러스터 기반 밴딧 알고리즘의 이론적 리그레트 바운드는 무엇인가?
• RQ4 사용자 수가 많을 경우 알고리즘이 어떻게 확장되는가?
• RQ5 알 수 없고 변화하는 사용자 그룹을 다룰 수 있으며, 낮은 리그레트를 유지할 수 있는가?

주요 결과

• CLUB는 스 tochastic linear 밴딧 설정에서 $O(\sqrt{T})$ 리그레트 바운드를 달성하며, 숨겨진 상수는 총 사용자 수 $n$이 아니라 클러스터 수 $m$에 의존한다.
• 리그레트 바운드는 클러스터 내 사용자 모델의 기하학적 구조에 따라 달라지며, 클러스터가 잘 분리되어 있을수록 더 날카로운 바운드를 제공한다.
• 시뮬레이션 및 실세계 데이터셋에서의 실험 결과, 예측 정확도와 리그레트 측면에서 최신 기법 대비 뚜렷한 성능 향상을 보였다.
• 알고리즘은 계산적으로 효율적이며 확장 가능하여 표준 데이터 구조와 무작위 그래프 기법을 사용한 대규모 배포에 적합하다.
• 효과적으로 유사한 사용자 간 피드백을 공유함으로써 탐색 오버헤드를 줄이고 수렴 속도를 높였다.
• 이론적 분석을 통해 클러스터가 사전에 알려지지 않았거나 온라인으로 학습되어야 할 경우에도 CLUB이 낮은 리그레트를 유지함을 확인하였다.