[논문 리뷰] Collaborative Filtering Bandits

Shuai Li, Alexandros Karatzoglou외 1명|arXiv (Cornell University)|2015. 02. 11.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 3

한 줄 요약

이 논문은 뉴스 및 광고와 같은 매우 동적인 환경에서 적응형이고 확장 가능한 추천을 가능하게 하는 실시간으로 상호작용 패턴에 기반해 사용자와 아이템을 동적으로 클러스터링하는 협업 필터링 밴딧 알고리즘 COFIBA를 제안한다. 희소 그래프 기반 클러스터링과 선형 스토하스틱 노이즈 하에서의 위험 분석을 활용하여 최신 기술의 클러스터링 밴딧보다 낮은 위험과 높은 클릭스루율을 달성한다.

ABSTRACT

Classical collaborative filtering, and content-based filtering methods try to learn a static recommendation model given training data. These approaches are far from ideal in highly dynamic recommendation domains such as news recommendation and computational advertisement, where the set of items and users is very fluid. In this work, we investigate an adaptive clustering technique for content recommendation based on exploration-exploitation strategies in contextual multi-armed bandit settings. Our algorithm takes into account the collaborative effects that arise due to the interaction of the users with the items, by dynamically grouping users based on the items under consideration and, at the same time, grouping items based on the similarity of the clusterings induced over the users. The resulting algorithm thus takes advantage of preference patterns in the data in a way akin to collaborative filtering methods. We provide an empirical analysis on medium-size real-world datasets, showing scalability and increased prediction performance (as measured by click-through rate) over state-of-the-art methods for clustering bandits. We also provide a regret analysis within a standard linear stochastic noise setting.

연구 동기 및 목표

• 뉴스 및 온라인 광고와 같은 매우 동적인 추천 도메인에서 고전적 협업 필터링과 맥락 기반 밴딧의 한계를 해결한다.
• 동적 클러스터링을 통해 협업 효과를 활용하여 사용자 및 아이템 추천의 쿨스타트 문제를 극복한다.
• 사용자-아이템 상호작용 데이터를 통합하여 사용자와 아이템 양쪽에 동시에 적응형 클러스터를 형성하는 확장 가능하고 온라인 알고리즘을 개발한다.
• 표준 선형 스토하스틱 노이즈 설정 하에서 제안된 방법의 이론적 위험 분석을 제공한다.
• 기존의 클러스터링 밴딧 방법과 비교하여 실제 및 벤치마크 데이터셋에서 향상된 예측 성능과 확장성을 입증한다.

제안 방법

• COFIBA는 계산 비용이 높은 행렬 분해를 피하기 위해 사용자 및 아이템 상호작용을 희소 그래프 표현으로 모델링한다.
• 사용자는 고려 중인 아이템에 기반해, 아이템은 각 아이템에 의해 유도된 사용자 클러스터 유사성에 기반해 클러스터링된다.
• 알고리즘은 맥락 기반 다중 손잡이 밴딧 프레임워크 내에서 탐색-이용 전략을 적용하여 새로운 상호작용이 발생함에 따라 클러스터 할당을 동적으로 업데이트한다.
• 기존 사용자로부터의 집합적 특징 벡터(예: $ar{oldsymbol{w}}_{N_{k},t}$)를 활용하여 신규 사용자에게 정보를 전파함으로써 쿨스타트 성능을 향상시킨다.
• 위험 한계는 기대 수익의 합을 분석하여 유도되며, 핵심 항목 $ extstyle ilde{igcirc}ig(ig( ext{E}[S(h)] + ext{variance term}ig)ig)ig( ext{sqrt}(dT/n)ig)$ 가 포함되며, 여기서 $S(h)$ 는 정규화된 방식으로 클러스터 크기를 측정한다.
• 이 방법은 표준 클러스터링 또는 공-클러스터링 기법과 호환되며, 계산 효율성과 이론적 해석 가능성에 중점을 두고 설계되어 있다.

실험 결과

연구 질문

• RQ1 상호작용 패턴에 기반한 사용자 및 아이템의 동적 클러스터링이 뉴스 및 광고와 같은 매우 동적인 환경에서 추천 성능을 향상시킬 수 있는가?
• RQ2 배치 행렬 분해에 의존하지 않고 맥락 기반 밴딧 프레임워크에 협업 필터링 효과를 효과적으로 통합할 수 있는가?
• RQ3 서로의 선호 패턴에 기반해 사용자와 아이템을 적응형으로 클러스터링하는 밴딧 알고리즘의 이론적 위험 성능는 어떠한가?
• RQ4 제안된 방법이 기존의 밴딧 또는 협업 필터링 접근 방식보다 쿨스타트 문제를 더 효과적으로 다룰 수 있는가?
• RQ5 실제 세계의 데이터셋에서 최신 기술의 클러스터링 밴딧 방법과 비교해 실용적으로 알고리즘이 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• COFIBA는 중간 규모의 실제 세계 데이터셋에서 최신 기술의 클러스터링 밴딧 방법보다 유의미하게 높은 클릭스루율을 달성하여 예측 성능 향상을 입증한다.
• 알고리즘은 강력한 확장성을 보이며, 온라인 광고 및 뉴스 추천과 같은 대규모 동적 추천 시스템에 적합하다.
• COFIBA의 위험 한계는 $ ilde{igcirc}ig(ig( ext{E}[S(h)] + ext{variance term}ig)ig)ig( ext{sqrt}(dT/n)ig)$ 로, 사전에 잠재 클러스터링 구조를 알고 있는 방법과 동일한 성능을 보인다.
• 공유 클러스터 멤버십을 통해 기존 사용자로부터의 정보 전파를 통해 쿨스타트 문제를 효과적으로 완화한다.
• 실증 결과는 COFIBA가 동적 환경에서 정확도와 적응성 측면에서 기존 방법을 모두 능가함을 보여준다.
• 희소 그래프 표현에 의존함으로써 밀도 높은 행렬 분해를 피함으로써 계산적으로 효율적이며, 실시간 배포가 가능하다.