[논문 리뷰] Large Scale Product Graph Construction for Recommendation in E-commerce

Xiaoyong Yang, Yadong Zhu외 3명|arXiv (Cornell University)|2020. 10. 12.

Recommender Systems and Techniques참고 문헌 20인용 수 7

한 줄 요약

이 논문은 전자상거래 추천을 위한 대규모 제품 그래프를 구축하기 위해 스윙(Swing) 및 서프라이즈(Surprise) 알고리즘을 제안한다. 사용자 행동 데이터를 활용하여 대체 및 보완 제품 관계를 모델링하며, 준국소 구조와 카테고리 기반 클러스터링을 통해 강건성과 희소성 문제를 개선하고, 백억 명의 사용자를 대상으로도 O(1) 응답 시간을 달성한다.

ABSTRACT

Building a recommendation system that serves billions of users on daily basis is a challenging problem, as the system needs to make astronomical number of predictions per second based on real-time user behaviors with O(1) time complexity. Such kind of large scale recommendation systems usually rely heavily on pre-built index of products to speedup the recommendation service so that online user waiting time is un-noticeable. One important indexing structure is the product-product index, where one can retrieval a list of ranked products given a seed product. The index can be viewed as a weighted product-product graph. In this paper, we present our novel technologies to efficiently build such kind of indexed product graphs. In particular, we propose the Swing algorithm to capture the substitute relationships between products, which can utilize the substructures of user-item click bi-partitive graph. Then we propose the Surprise algorithm for the modeling of complementary product relationships, which utilizes product category information and solves the sparsity problem of user co-purchasing graph via clustering technique. Base on these two approaches, we can build the basis product graph for recommendation in Taobao. The approaches are evaluated comprehensively with both offline and online experiments, and the results demonstrate the effectiveness and efficiency of the work.

연구 동기 및 목표

• 백억 명의 사용자를 대상으로 실시간 추천을 위한 확장 가능하고 정확한 제품 그래프를 구축하는 데 도전한다.
• 공구매 데이터의 노이즈와 희소성으로 인한 민감성 등의 문제를 해결하기 위해 기존의 아이템 기반 협업 필터링의 한계를 극복한다.
• 노이즈가 많은 텍스트 특징에 의존하지 않고, 비지도 학습 기반의 행동 기반 접근 방식을 통해 대체 및 보완 제품 관계를 모델링한다.
• O(1) 조회 복잡도를 가진 사전 인덱싱된 제품-제품 그래프를 구성하여 확장성과 저지연 응답을 보장한다.
• 단순한 쌍방향 유사도를 넘어서 사용자-아이템 상호작용 그래프의 구조적 패턴을 포착함으로써 추천 품질을 향상시킨다.

제안 방법

• 사용자-아이템 이분 그래프 내에서 안정적이고 준국소적인 구조(‘스윙’)를 식별함으로써 대체 관계를 탐지하는 스윙(Swing) 알고리즘을 제안한다. 이는 단일 엣지 유사도보다 더 강건하다.
• 공통 사용자 상호작용을 통해 신호를 집계하는 스윙 기반의 유사도 계산을 활용하여, 일시적 또는 우연적인 클릭으로 인한 노이즈를 감소시킨다.
• 카테고리 정보를 사용한 클러스터링과 레이블 전파를 통해 공구매 그래프의 희소성을 완화함으로써 보완 관계를 모델링하는 서프라이즈(Surprise) 알고리즘을 도입한다.
• 시간에 민감한 전파를 서프라이즈에 통합하여 구매의 시간적 순서를 반영함으로써 보완 관계가 방향성과 맥락적으로 의미 있는지 보장한다.
• 스윙과 서프라이즈를 각각 기반으로 한 별도의 제품 그래프(대체 및 보완)를 구성하여, 실전 추천 파이프라인에서 빠른 조회 인덱스로 활용한다.
• 노이즈가 많거나 희소한 텍스트 기반 제품 설명에 의존하지 않고, 실제 사용자 행동 데이터(클릭 및 구매)를 주요 신호로 활용한다.

실험 결과

연구 질문

• RQ1 사용자-아이템 상호작용 그래프 내 준국소적 구조 패턴은 어떻게 활용되어 대체 제품 추천의 강건성과 정확도를 향상시킬 수 있는가?
• RQ2 공구매 데이터의 극심한 희소성에 대비해 보완 제품 관계를 효과적으로 모델링할 수 있는 기법은 무엇인가?
• RQ3 제품 카테고리 정보와 클러스터링은 보완 관계 추론의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ4 공구매 그래프에서 시간에 민감한 전파 기법은 보완 추천의 현실성과 방향성을 향상시키는가?
• RQ5 스윙과 서프라이즈는 대규모 실세계 전자상거래 환경에서 기존 국소 유사도 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 스윙(Swing) 알고리즘은 점별 유사도를 안정적이고 구조 인식 신호 전파로 대체함으로써 예측의 강건성을 크게 향상시켜, 노이즈가 많은 사용자 클릭에 대한 민감도를 감소시킨다.
• 서프라이즈(Surprise) 알고리즘은 카테고리 기반 클러스터링과 레이블 전파를 통해 공구매 그래프의 희소성을 효과적으로 완화하여 신뢰할 수 있는 보완 제품 쌍의 발견을 가능하게 한다.
• 서프라이즈에 통합된 시간에 민감한 전파 기법은 보완 관계가 현실적인 구매 순서를 반영함으로써 맥락적 관련성을 향상시킨다.
• 오프라인 평가 결과, 스윙과 서프라이즈 모두 기준 국소 유사도 방법보다 높은 정밀도와 재현율을 확보하였다.
• 타오바오에서 실시한 온라인 A/B 테스트 결과, 이들 방법을 활용해 구축한 제품 그래프가 클릭률 및 전환율과 같은 핵심 비즈니스 지표에서 측정 가능한 향상을 이끌어냈다.
• 제안된 제품 그래프 구축 파이프라인은 백억 명의 사용자와 제품까지 효율적으로 확장 가능하며, 실전 시스템에서 실시간 O(1) 추천 조회를 지원한다.