[논문 리뷰] Cold-start Problems in Recommendation Systems via Contextual-bandit Algorithms

Nguyễn Thanh Hải, Jérémie Mary외 1명|arXiv (Cornell University)|2014. 05. 29.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 8

한 줄 요약

이 논문은 측정된 사용자 평가를 맥락으로 활용하여 보조 정보가 필요 없이 추천 시스템의 쿨스타트 문제를 해결하는 A-LinUCB를 제안한다. Movielens, Netflix, Yahoo!Music 데이터셋에서 누적 손실 측면에서 기준선 밴딧 알고리즘보다 뚜렷이 뛰어난 성능을 보이며, 신규 사용자 및 신규 항목에 대한 추천에서 뛰어난 성능을 입증한다.

ABSTRACT

In this paper, we study a cold-start problem in recommendation systems where we have completely new users entered the systems. There is not any interaction or feedback of the new users with the systems previoustly, thus no ratings are available. Trivial approaches are to select ramdom items or the most popular ones to recommend to the new users. However, these methods perform poorly in many case. In this research, we provide a new look of this cold-start problem in recommendation systems. In fact, we cast this cold-start problem as a contextual-bandit problem. No additional information on new users and new items is needed. We consider all the past ratings of previous users as contextual information to be integrated into the recommendation framework. To solve this type of the cold-start problems, we propose a new efficient method which is based on the LinUCB algorithm for contextual-bandit problems. The experiments were conducted on three different publicly-available data sets, namely Movielens, Netflix and Yahoo!Music. The new proposed methods were also compared with other state-of-the-art techniques. Experiments showed that our new method significantly improves upon all these methods.

연구 동기 및 목표

• 신규 사용자와 신규 항목이 상호작용 기록이 없을 때 발생하는 추천 시스템의 쿨스타트 문제를 해결하기 위해.
• 인구통계학적 정보나 항목 콘텐츠와 같은 보조 정보에 의존하지 않고도 탐색과 이용의 균형을 이루는 방법을 개발하기 위해.
• 사용자 또는 항목이 도입된 초기 단계에서 사용자 선호도를 동적으로 모델링하여 추천 품질을 향상시키기 위해.
• 실제 추천 시나리오에서 최신 밴딧 알고리즘과 제안된 방법을 비교 평가하기 위해.

제안 방법

• 저자들은 쿨스타트 문제를 맥락 기반 밴딧 문제로 재정의하여, 모든 과거 사용자 평가를 맥락적 특성으로 활용한다.
• 사용자 선호도를 항목 특성과 과거 피드백 기반으로 추정하는 선형 모델을 포함시켜 LinUCB 알고리즘을 수정한다.
• A-LinUCB는 탐색-이용 균형을 제어하기 위해 정규화 파라미터 α를 도입하며, α=0.001일 때 성능 향상이 뚜렷하다.
• 알고리즘은 사용자 선호도의 선형 모델을 유지하고, 확률적 경사 하강법을 사용하여 점진적으로 업데이트한다.
• 맥락적 특성은 전체 과거 평가 행렬에서 유도되며, 과거의 사용자-항목 상호작용을 맥락으로 간주한다.
• 신뢰도 구간을 사용하여 탐색(새로운 항목 시도)과 이용(높은 기대 수익 항목 추천)을 동적으로 균형 잡는다.

실험 결과

연구 질문

• RQ1 보조 정보가 없이도 맥락 기반 밴딧 접근법이 쿨스타트 추천 시나리오에서 누적 손실을 효과적으로 줄일 수 있는가?
• RQ2 ε-그리디, UCB, EXP3, 톰슨 샘플링과 같은 표준 밴딧 알고리즘과 비교해 A-LinUCB는 신규 사용자 및 신규 항목 설정에서 어떻게 성능을 내는가?
• RQ3 정규화 파라미터 α는 A-LinUCB 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 과거 평가 데이터만으로도 쿨스타트 시스템에서 효과적인 탐색과 이용을 이끌 수 있는 충분한 맥락이 될 수 있는가?
• RQ5 제안된 방법은 Movielens, Netflix, Yahoo!Music과 같은 다양한 실세계 데이터셋에서 강력한 성능을 유지하는가?

주요 결과

• A-LinUCB(α=0.001)는 Movielens에서 누적 손실 3008.19를 기록하여, α=0일 때의 3491.39보다 뚜렷이 낮았다.
• Netflix에서는 A-LinUCB(α=0.001)가 누적 손실을 3680으로 줄였고, α=0일 때는 3857이었다.
• Yahoo!Music에서는 개선 폭이 가장 두드러졌으며, A-LinUCB(α=0.001)는 손실 989.56을 기록했고, α=0일 때는 1514.15였다.
• 모든 세 데이터셋에서 랜덤 정책, ε-그리디, UCB, EXP3, 톰슨 샘플링, A-LinUCB(α=0)를 포함한 여섯 가지 기준선보다 제안된 방법이 뛰어난 성능을 보였다.
• 결과는 과거 평가 데이터를 맥락으로 활용함으로써 효과적인 탐색이 가능하고, 고품질 추천으로의 수렴 속도가 빨라진다는 것을 입증한다.
• 인구통계학적 정보, 콘텐츠 기반 정보 또는 기타 보조 정보가 필요 없이도 강력한 성능을 달성하여, 데이터가 부족한 실세계 환경에 적합한 실용적 솔루션이다.