[논문 리뷰] Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems

Chang Zhou, Jianxin Ma외 3명|arXiv (Cornell University)|2020. 05. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 11

한 줄 요약

이 논문은 대규모 추천 시스템에서 노출 편향을 줄이기 위해 대비 손실과 역확률 가중치 간의 이론적 연결을 이끌어내는 대비 학습 프레임워크인 CLRec과 Multi-CLRec을 제안한다. 고정 크기의 FIFO 큐를 사용해 부정 샘플을 캐시하고 재사용함으로써, 미충분하게 탐색된 아이템에 대한 풍부한 특징을 효율적으로 인코딩하며, 매트릭스 효과를 크게 줄이고 계산 오버헤드를 최소화하면서도 공정성과 다양성을 향상시킨다.

ABSTRACT

Deep candidate generation (DCG) that narrows down the collection of relevant items from billions to hundreds via representation learning has become prevalent in industrial recommender systems. Standard approaches approximate maximum likelihood estimation (MLE) through sampling for better scalability and address the problem of DCG in a way similar to language modeling. However, live recommender systems face severe exposure bias and have a vocabulary several orders of magnitude larger than that of natural language, implying that MLE will preserve and even exacerbate the exposure bias in the long run in order to faithfully fit the observed samples. In this paper, we theoretically prove that a popular choice of contrastive loss is equivalent to reducing the exposure bias via inverse propensity weighting, which provides a new perspective for understanding the effectiveness of contrastive learning. Based on the theoretical discovery, we design CLRec, a contrastive learning method to improve DCG in terms of fairness, effectiveness and efficiency in recommender systems with extremely large candidate size. We further improve upon CLRec and propose Multi-CLRec, for accurate multi-intention aware bias reduction. Our methods have been successfully deployed in Taobao, where at least four-month online A/B tests and offline analyses demonstrate its substantial improvements, including a dramatic reduction in the Matthew effect.

연구 동기 및 목표

• 최대 기계학습(MLE) 기반 학습이 인기 편향을 악화시키는 대규모 딥 컨디네이트 생성(DCG) 시스템에서 심각한 노출 편향을 해결하기 위해.
• 십억 수준의 아이템 어휘를 가진 환경에서도 높은 모델 표현력을 유지하면서도 확장성 있고 효율적인 DCG의 편향 제거 방법을 개발하기 위해.
• 대비 학습과 역확률 가중치(IPW) 간의 이론적 연결을 제공함으로써, 편향 감소에 있어 대비 학습의 효과성에 새로운 근거를 마련하기 위해.
• 특히 스케일링 환경에서도 부정 샘플에 대한 풍부한 특징 인코딩을 효율적으로 구현할 수 있는 실용적 프레임워크를 설계하기 위해.
• 인기 아이템이 지배하는 매트릭스 효과를 줄여 추천의 공정성과 다양성을 향상시키기 위해.

제안 방법

• CLRec은 이전 배치에서 생성된 긍정 샘플과 그 표현을 고정 크기의 선입선출(FIFO) 큐에 저장하여, 이후 배치에서 부정 샘플로 활용한다.
• 이 방법은 이론적으로 역확률 가중치(IPW)와 동치인 대비 손실 함수를 사용함으로써 학습 중 노출 편향을 감소시킨다.
• 큐에서 사전 계산된 표현을 재사용함으로써, 큐 크기가 배치 크기의 10배일 경우 계산 비용을 최대 90%까지 절감할 수 있다.
• 부정 샘플에 대한 풍부한 특징 인코딩이 가능해져, 탐색이 부족한 아이템의 표현 품질이 향상된다.
• Multi-CLRec은 다중 큐 설계를 통해 다수의 사용자 의도를 모델링함으로써, 더 정확한 의도 인식 기반의 편향 감소를 가능하게 한다.
• 기존 방법들과 달리 별도의 확률 추정기 학습을 피함으로써 대규모 환경에서도 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 추천 시스템 맥락에서 대비 학습과 역확률 가중치(IPW) 간의 이론적 연결을 어떻게 확립할 수 있는가?
• RQ2 십억 수준의 후보 집합을 가진 대규모 DCG에 대해 대비 학습을 효율적으로 적용하여 노출 편향을 줄일 수 있는가?
• RQ3 큐 기반 메커니즘이 학습 속도를 희생시키지 않고도 효율적이고 효과적인 부정 샘플 인코딩을 가능하게 할 수 있는가?
• RQ4 제안된 방법이 매트릭스 효과를 줄이고 추천의 공정성과 다양성을 향상시키는가?
• RQ5 이 방법을 다수의 사용자 의도를 모델링할 수 있도록 확장하여 더 정확한 편향 감소를 달성할 수 있는가?

주요 결과

• CLRec은 추천에서 인기 아이템의 지배성이 급격히 감소함으로써, 후보 생성 과정에서 매트릭스 효과를 크게 줄였다.
• 공개 벤치마크(ML-1M, Beauty, Steam)에서의 오프라인 분석 결과, CLRec은 샘플드-소프트맥스보다 더 다양한 아이템 세트를 검색했으며, 집합적 다양성은 30~50% 증가했다.
• 타오바오에서 실시한 4개월간의 온라인 A/B 테스트에서 CLRec은 공정성과 효과성 측면에서 뚜렷한 향상을 보였으며, 인기 편향이 유의미하게 감소했다.
• 큐 기반 설계 덕분에 큐 크기가 배치 크기의 10배일 경우 계산 비용을 최대 90%까지 절감할 수 있었으며, 이는 부정 샘플에 대한 풍부한 특징 사용을 효율적으로 가능하게 했다.
• Multi-CLRec은 다수의 사용자 의도를 모델링함으로써 성능을 추가로 향상시켜 더 정확하고 공정한 추천을 가능하게 했다.
• 대비 손실과 IPW 간의 이론적 동치성은 대비 학습이 추천 시스템의 편향 제거에 효과적인 이유에 새로운 설명을 제공한다.