[논문 리뷰] Related Pins at Pinterest: The Evolution of a Real-World Recommender System

David C. Liu, Stephanie Rogers외 6명|arXiv (Cornell University)|2017. 02. 26.

Recommender Systems and Techniques참고 문헌 18인용 수 10

한 줄 요약

이 논문은 Pinterest의 Related Pins 추천 시스템이 3년에 걸쳐 어떻게 발전해왔는지를 기술한다. 이는 생산 규모의 시스템으로, 사용자 참여도의 40% 이상을 이끌고 있다. 간단한 히ュ리스틱 기반 프로토타입에서 시작해, 후보 생성, 기억화(MemBoost), 학습을 통한 순위 매기기 등을 점진적으로 통합하면서 실제 문제들인 피드백 루프, 위치 편향, 콘텐츠 활성화 등을 해결해 나가며, 반복적인 공학적 접근과 구성 요소의 공동 훈련을 통해 높은 관련성과 확장성을 달성했다.

ABSTRACT

Related Pins is the Web-scale recommender system that powers over 40% of user engagement on Pinterest. This paper is a longitudinal study of three years of its development, exploring the evolution of the system and its components from prototypes to present state. Each component was originally built with many constraints on engineering effort and computational resources, so we prioritized the simplest and highest-leverage solutions. We show how organic growth led to a complex system and how we managed this complexity. Many challenges arose while building this system, such as avoiding feedback loops, evaluating performance, activating content, and eliminating legacy heuristics. Finally, we offer suggestions for tackling these challenges when engineering Web-scale recommender systems.

연구 동기 및 목표

• 공학적 및 계산 자원 제약 하에서 실세계의 생산 규모 추천 시스템의 장기적 발전 과정을 기록하는 것.
• 대규모 추천 시스템에서 발생하는 핵심 과제들인 피드백 루프, 위치 편향, 콘텐츠 활성화를 식별하고 해결하는 것.
• 간단한 고성과 솔루션들이 점진적으로 복잡하고 고성능 시스템으로 발전할 수 있음을 보여주는 것.
• 제한된 데이터와 자원을 가진 산업 환경에서 확장 가능하고 유지보수 가능한 추천 시스템을 구축하기 위한 실용적 통찰을 제공하는 것.

제안 방법

• 사용자 커리에이티드 보드 기반의 히ュ리스틱 규칙에 기반한 단순한 후보 생성기로 초기 시스템을 3주 만에 개발.
• 유저의 암시적 피드백을 활용해 인기 핀을 강화하는 경량 기억화 레이어인 MemBoost를 도입하여 재현율과 관련성 향상.
• 기본 선형 모델에서 시작해 점진적으로 더 복잡한 아키텍처와 개선된 훈련 데이터 수집 방식을 활용해 학습을 통한 순위 매기기 모델을 구현.
• 후보 및 순위 매기기 구성 요소를 자동으로 공동 훈련하여 의도하지 않은 상호작용을 줄이고 시스템의 통일성을 향상.
• 콘텐츠 활성화를 위해 후보 집합을 지역화하고, 지역 기반 핀 교체 및 지역 후보 통합을 통해 비영어 콘텐츠의 노출 증가.
• 훈련 데이터에 새로운 후보 생성기들을 단계적으로 통합하는 전략을 도입하여, 전체 배포 이전에 새로운 후보 생성기의 성능을 검증하고 구성 요소 간 일반화 능력을 확보.

실험 결과

연구 질문

• RQ1 최소한의 초기 공학적 자원과 계산 자원으로 추천 시스템을 점진적으로 개발할 수 있는 방법은 무엇인가?
• RQ2 대규모 추천 시스템의 자연스러운 성장 과정에서 발생하는 핵심 과제는 무엇인가?
• RQ3 생산 환경의 추천 시스템에서 피드백 루프와 위치 편향을 어떻게 완화할 수 있는가?
• RQ4 특히 多국어 환경에서 저참여도이지만 고품질 콘텐츠를 효과적으로 활성화하는 전략은 무엇인가?
• RQ5 성능 유지를 하면서도 빠른 실험을 가능하게 하기 위해 시스템 복잡성을 어떻게 관리할 수 있는가?

주요 결과

• Related Pins 시스템은 3주 프로토타입에서 출발해, 다양한 제품 표면에서 전체 사용자 저장 및 노출의 40% 이상을 이끌게 되었다.
• MemBoost는 최소한의 공학 비용으로 성능을 크게 향상시켜, 이전에 발생한 참여 신호를 활용하는 가치를 입증했다.
• 지역 기반 핀 교체 및 언어 인식 후보 생성을 통해 주요 국제 시장에서 54%의 지역 노출 비율을 달성했다.
• 후보 및 순위 매기기 구성 요소의 공동 훈련은 의도하지 않은 상호작용을 감소시키고, 시스템 구성 요소 간 모델 일반화 능력을 향상시켰다.
• 실시간 후보 생성 및 순위 매기기 기능을 통해 실험 속도가 향상되고 결과의 반응성이 향상되었다.
• 훈련 데이터에 새로운 후보 세트를 단계적으로 통합함으로써, 분포 이탈 없이 신규 구성 요소의 신뢰성 있는 평가가 가능해졌다.