[논문 리뷰] Deep Item-based Collaborative Filtering for Sparse Implicit Feedback

Daniel Galron, Yuri M. Brovman외 3명|arXiv (Cornell University)|2018. 12. 26.

Recommender Systems and Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 희박한 암시적 피드백을 위한 딥러닝 기반 아이템 기반 협업 필터링 방법을 제안하며, 사용자 상호작용 벡터 간 코사인 유사도로 수렴하는 유사도 목적함수를 최적화한다. 이베이의 변동성이 크고 희박한 데이터셋에서 평가된 결과, 기존의 아이템 기반 CF보다 오프라인 메트릭과 A/B 테스트에서 우수한 성능을 보이며, 극도로 희박한 데이터 상황에서도 추천 품질 향상을 입증한다.

ABSTRACT

Recommender systems are ubiquitous in the domain of e-commerce, used to improve the user experience and to market inventory, thereby increasing revenue for the site. Techniques such as item-based collaborative filtering are used to model users' behavioral interactions with items and make recommendations from items that have similar behavioral patterns. However, there are challenges when applying these techniques on extremely sparse and volatile datasets. On some e-commerce sites, such as eBay, the volatile inventory and minimal structured information about items make it very difficult to aggregate user interactions with an item. In this work, we describe a novel deep learning-based method to address the challenges. We propose an objective function that optimizes a similarity measure between binary implicit feedback vectors between two items. We demonstrate formally and empirically that a model trained to optimize this function estimates the log of the cosine similarity between the feedback vectors. We also propose a neural network architecture optimized on this objective. We present the results of experiments comparing the output of the neural network with traditional item-based collaborative filtering models on an implicit-feedback dataset, as well as results of experiments comparing different neural network architectures on user purchase behavior on eBay. Finally, we discuss the results of an A/B test that show marked improvement of the proposed technique over eBay's existing collaborative filtering recommender system.

연구 동기 및 목표

• 전자상거래 플랫폼, 특히 재고 회전율이 높고 구조화된 아이템 메타데이터가 제한적인 이베이와 같은 플랫폼에서 발생하는 희박하고 변동성이 큰 사용자-아이템 상호작용 데이터에 대한 도전 과제를 해결하기 위해.
• 사용자 피드백이 극도로 희박한 상황에서도 기존의 아이템 기반 협업 필터링의 한계를 극복하고, 아이템 유사도를 효과적으로 모델링할 수 있는 딥러닝 방법을 개발하기 위해.
• 암시적 피드백 벡터 간 코사인 유사도를 직접 추정하는 신경망 목적함수를 최적화하여, 낮은 데이터 환경에서 더 나은 표현 학습을 가능하게 하기 위해.
• 오프라인 평가와 온라인 A/B 테스트를 통해 실증적으로 방법을 검증하여 기존의 생산용 추천 시스템 대비 측정 가능한 성능 향상을 보여주기 위해.

제안 방법

• 이 방법은 두 아이템의 이진 암시적 피드백 벡터 간 코사인 유사도의 로그를 최적화하는 새로운 목적함수를 도입한다.
• 모델은 사용자 상호작용 패tern을 기반으로 아이템 쌍 간의 유사도를 예측하도록 훈련되며, 손실 함수가 공식적으로 코사인 유사도의 로그로 수렴함을 증명한다.
• 두 타워 신경망 아키텍처를 사용하며, 각 아이템의 임베딩은 사용자 상호작용 벡터에서 독립적으로 학습되고, 유사도는 내적을 통해 계산된다.
• 모델은 아이템 특징(예: 제목, 메타데이터)을 토큰 시퀀스로 처리하여 밀집 벡터로 임bedding한 후, 아이템 간 유사도를 계산한다.
• 스토캐스틱 그래디언트 디센트를 사용하여 아키텍처를 최적화하며, 대규모 희박 데이터에서의 훈련 효율성을 높이기 위해 음성 샘플링을 적용한다.
• 스케일러블하고 효율적인 설계를 통해 고속도의 아이템 목록이 존재하는 실시간 추론 환경에서의 생산 환경에 적합하도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 이처럼 변동성이 크고 희박한 암시적 피드백 데이터, 예를 들어 변동성이 큰 전자상거래 플랫폼에서 발견되는 데이터로부터 효과적으로 아이템 표현을 학습할 수 있는가?
• RQ2 코사인 유사도로 수렴하는 목적함수를 최적화하는 것이 기존의 아이템 기반 협업 필터링 대비 더 나은 추천 성능을 내는가?
• RQ3 명시적 레이블이나 풍부한 메타데이터 없이도 학습된 임베딩이 의미 있는 아이템 간 의미적 관계를 포착할 수 있는가?
• RQ4 실제 온라인 A/B 테스트에서 제안된 모델은 기존의 생산용 추천 시스템과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 목적함수는 암시적 피드백 벡터 간 코사인 유사도의 로그로 수렴함을 수학적으로 증명하였으며, 이는 방법의 강력한 이론적 기반을 제공한다.
• 이베이의 암시적 피드백 데이터셋에서 오프라인 평가 결과, 기존의 아이템 기반 협업 필터링 대비 딥러닝 모델이 리콜 및 정밀도 메트릭에서 뛰어난 성능을 보였다.
• 온라인 A/B 테스트 결과, 사용자 참여도와 전환율을 포함한 핵심 비즈니스 메트릭에서 기존의 이베이 협업 필터링 시스템 대비 통계적으로 유의미한 향상이 관찰되었다.
• 학습된 아이템 임베딩은 의미 있는 의미적 관계를 포착하였다: 유사한 주제(예: 스포츠 기념품, 핸드폰 케이스)를 가진 아이템들은 공유 토큰이 매우 적더라도 임베딩 공간에서 가까이 위치해 있었다.
• 모델는 데이터 희박성에 뛰어난 내성성을 보였으며, 매우 적은 사용자 상호작용을 가진 아이템들에 대해서도 성공적으로 추천함으로써 신규 또는 단일 수량의 제품에 대한 쿨스타트 문제를 완화시켰다.
• 임베딩 거리의 정성적 분석 결과, 모델이 카테고리와 주제별로 아이템을 그룹화하는 방식으로 학습한 것으로 나타났다. 예를 들어 스포츠 기념품과 기념품을 스포츠 종류와 시대별로 그룹화하였다.