[논문 리뷰] Improved Algorithm on Online Clustering of Bandits

Shuai Li, Wei Chen외 2명|arXiv (Cornell University)|2019. 02. 25.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 6

한 줄 요약

이 논문은 비균일한 사용자 빈도 분포 하에서 사용자 클러스터를 적응적으로 식별할 수 있도록 동적 세트 기반 클러스터 표현과 분할 및 병합 연산을 사용하는 새로운 온라인 클러스터링 밴딧 알고리즘인 SCLUB을 제안한다. 최소 사용자 빈도 $p_{\text{min}}$에 의존하지 않음으로써 $1/p_{\text{min}}$ 항을 포함하지 않는 리그레트 바운드를 달성하며, 합성 및 실세계 데이터셋(MovieLens, Yelp)에서의 실험 결과 기존 방법들(예: CLUB)에 비해 일관되게 5.94%에서 16.24% 향상됨.

ABSTRACT

We generalize the setting of online clustering of bandits by allowing non-uniform distribution over user frequencies. A more efficient algorithm is proposed with simple set structures to represent clusters. We prove a regret bound for the new algorithm which is free of the minimal frequency over users. The experiments on both synthetic and real datasets consistently show the advantage of the new algorithm over existing methods.

연구 동기 및 목표

• 기존 온라인 클러스터링 밴딧 알고리즘의 한계를 해결하기 위해, 균일한 사용자 빈도 분포를 가정하는 것에 기인한 성능 저하 문제를 해결하고자 하며, 이는 장꼬리 사용자 활동이 있는 실세계 시스템에서 특히 중요하다.
• 그래프 기반 클러스터 표현 방식의 비효율성을 해결하고자 하며, 이는 비유사 사용자가 연결되어 있더라도 클러스터가 여전히 연결되어 있어 수렴 속도가 느려지는 문제를 해결하고자 한다.
• 세트 기반 클러스터 표현과 동적 분할 및 병합 연산을 활용해 더 적응적이고 효율적인 클러스터링 메커니즘을 설계하고자 한다.
• 기존 연구에서의 주요 제약 요소인 최소 사용자 빈도 $p_{\text{min}}$에 의존하지 않는 이론적 리그레트 바운드를 유도하고자 한다.
• 합성 데이터 및 실세계 데이터셋(MovieLens, Yelp)에서 비균일 빈도 설정 하에서 알고리즘의 우수성을 실증적으로 검증하고자 한다.

제안 방법

• 각 클러스터를 사용자 집합의 간단한 세트로 표현하여 복잡한 그래프 구조를 대체함으로써 효율성과 명확성을 향상시킴.
• 사용자가 클러스터 구성원들과 유사도가 낮은 것으로 발견될 경우, 그 사용자를 현재 클러스터에서 분리하는 분할 연산을 도입함으로써 잘못된 그룹화를 신속하게 탐지할 수 있음.
• 분할 연산으로 인한 과도한 분할을 보완하기 위해 병합 연산을 추가하여 클러스터의 안정성과 일관성을 확보함.
• 신뢰구간 기반 선택 전략을 사용하여 탐색과 이용의 균형을 유지하면서도 클러스터의 무결성을 유지함.
• 이론적 분석을 통해 $1/p_{\text{min}}$ 항을 포함하지 않는 리그레트 바운드를 도출함으로써 기존 알고리즘에 비해 중대한 개선을 이룸.
• 사용자 기능 벡터는 평가 행렬에 대해 SVD를 수행하여 유도되며, 알고리즘은 선형 밴딧 프레임워크 내에서 사용자별 가중치 벡터를 학습함.

실험 결과

연구 질문

• RQ1 비균일한 사용자 빈도 분포, 특히 장꼬리 사용자 활동이 있는 환경에서 온라인 클러스터링 밴딧 알고리즘이 얼마나 강건한가?
• RQ2 그래프 기반 클러스터 표현 방식을 동적 세트 구조로 대체할 경우, 사용자 클러스터 식별의 수렴 속도와 정확도가 향상되는가?
• RQ3 분할 및 병합 연산의 조합이 기존 그래프 기반 방법보다 더 나은 리그레트 성능을 낼 수 있는가?
• RQ4 최소 사용자 빈도 $p_{\text{min}}$에 의존하지 않는 리그레트 바운드를 도출하는 것이 가능한가?
• RQ5 희박하고 비대칭적인 사용자 활동이 있는 실세계 추천 시스템에서 알고리즘의 성능은 어떠한가?

주요 결과

• 균일한 사용자 빈도 분포 하에서 SCLUB은 베이스라인 CLUB 알고리즘 대비 리그레트에서 5.94% 향상되어 이상적인 설정에서도 효율성이 향상됨을 입증함.
• 비균일한 클러스터 수준 빈도 분포 하에서 SCLUB은 리그레트에서 13.02% 향상되어 빈도 불균형에 대해 강건함을 보임.
• 가장 현실적인 설정인 임의의 사용자 수준 빈도 분포 하에서 SCLUB은 CLUB 대비 리그레트를 14.69% 감소시켜 적응성의 우수성을 입증함.
• MovieLens 데이터셋에서 SCLUB은 임의의 빈도 분포 하에서 CLUB 대비 리그레트에서 14.84% 향상되어 강력한 실세계 성능을 확인함.
• 더 희박한 Yelp 데이터셋에서는 SCLUB이 CLUB 대비 16.24% 향상되어 낮은 데이터 환경에서도 효과적임을 보임.
• 알고리즘의 리그레트 바운드가 $p_{\text{min}}$에 독립적임을 증명함으로써 기존 접근 방식의 핵심 이론적 한계를 해결함.