[논문 리뷰] Graph Clustering Bandits for Recommendation

Shuai Li, Claudio Gentile외 1명|arXiv (Cornell University)|2016. 05. 02.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 11

한 줄 요약

이 논문은 다중 권한 밴딧 설정에서 사용자 행동 유사성 기반으로 동적으로 사용자 그룹을 형성하는 그래프 클러스터링 밴딧 알고리즘인 GCLUB을 제안한다. 이는 아이템과 사용자 클러스터 모두에 대한 공동 탐색을 가능하게 하여 추천 성능을 크게 향상시키며, 특히 저활동 사용자에게서 두드러진 성능 향상을 이룬다. 맥락 기반 밴딧과 적응형 클러스터링을 융합함으로써, LastFM, Delicious, MovieLens, Yahoo News를 포함한 네 가지 실세계 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We investigate an efficient context-dependent clustering technique for recommender systems based on exploration-exploitation strategies through multi-armed bandits over multiple users. Our algorithm dynamically groups users based on their observed behavioral similarity during a sequence of logged activities. In doing so, the algorithm reacts to the currently served user by shaping clusters around him/her but, at the same time, it explores the generation of clusters over users which are not currently engaged. We motivate the effectiveness of this clustering policy, and provide an extensive empirical analysis on real-world datasets, showing scalability and improved prediction performance over state-of-the-art methods for sequential clustering of users in multi-armed bandit scenarios.

연구 동기 및 목표

• 대부분의 사용자가 역사적 상호작용 데이터가 거의 없거나 전혀 없는 추천 시스템에서의 희박한 사용자 활동 문제를 해결하기 위해.
• 행동 유사성 기반으로 동적으로 사용자 클러스터를 형성하여 협업 효과를 통합함으로써 추천 성능을 향상시키기 위해.
• 표준 맥락 기반 밴딧에 더하여 아이템뿐 아니라 사용자 클러스터 할당에 대한 탐색을 추가함으로써, 특히 비활동 또는 신규 사용자에게도 유의미한 성능 향상을 이끌어내기 위해.
• 불균형한 사용자 활동 수준에서 아이템과 클러스터에 대한 공동 탐색의 효과를 평가하기 위해.

제안 방법

• 알고리즘은 과거의 아이템 선택 기반으로 유사도를 반영하는 간선을 가진 그래프에서 사용자를 노드로 모델링한다.
• 관측된 사용자 행동에 기반해 실시간으로 사용자 클러스터를 동적으로 형성하고 재구성하는 확률적 탐색 메커니즘을 사용한다.
• 각 사용자의 아이템 추천가 클러스터 수준의 선호 패턴에 기반하며, 클러스터 할당에 대한 탐색을 포함하는 맥락 기반 밴딧 프레임워크를 적용한다.
• 각 클러스터에 대해 별도의 모델을 유지하고, UCB 스타일의 탐색 전략을 사용하여 새로운 클러스터와 기존 클러스터 행동 간 균형을 이룬다.
• 사용자 및 아이템 특징을 모두 통합하여, 각 클러스터 내에서 아이템 추천에 대한 보상(예: 클릭률)을 예측하기 위해 선형 모델을 사용한다.
• 파라미터 튜닝은 훈련 데이터에서 그리드 서치를 통해 수행되며, 누적 잔여도와 클릭률(CTR) 지표를 사용해 테스트 세트에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 행동 유사성 기반으로 동적으로 사용자 클러스터를 형성하는 것이 다중 권한 밴딧 설정에서 추천 성능 향상에 기여하는가?
• RQ2 표준 아이템 수준 탐색 외에 사용자 클러스터 할당에 대한 탐색을 추가함으로써 예측 정확도 향상이 측정 가능한가?
• RQ3 매우 불균형한 사용자 활동 수준을 가진 실세계 환경에서 제안된 방법의 성능은 어떠한가?
• RQ4 누적 잔여도와 CTR 측면에서 GCLUB은 LinUCB-ONE, LinUCB-IND, CLUB에 비해 어떤 상황에서 슈퍼어리어어인가?

주요 결과

• GCLUB은 LastFM, Delicious, MovieLens, Yahoo News를 포함한 네 가지 실세계 데이터셋 전반에서 CLUB, LinUCB-ONE, LinUCB-IND를 포함한 모든 베이스라인을 압도적으로 뛰어넘는다.
• LastFM, Delicious, MovieLens에서 GCLUB은 무작위 기반선(RAN) 대비 누적 잔여도 비율이 낮아, 더 우수한 잔여도 최소화 성능을 보인다.
• 로그된 피드백만 이용 가능한 Yahoo 데이터셋에서는 GCLUB이 RAN 대비 더 높은 클릭률(CTR) 비율을 달성하여 실세계 환경에서의 성능 향상을 입증한다.
• 사용자 활동 불균형이 심한 상황에서 성능 향상이 가장 두드러지며, 동적 클러스터 탐색을 통해 저활동 및 신규 사용자를 효과적으로 처리한다.
• CLUB은 효과적이지만, 모든 데이터셋에서 GCLUB에 뒤지며, 특히 장기적으로 볼 때 GCLUB이 더 안정적이고 정확한 성능을 보임을 시사한다.
• 결과적으로, 클러스터링을 통한 협업 필터링과 클러스터 수준의 밴딧 탐색을 융합함으로써 추천 품질 향상이 크게且 일관되게 달성됨을 시사한다.