[논문 리뷰] On the Effectiveness of Sampled Softmax Loss for Item Recommendation

Jiancan Wu, Xiang Wang외 4명|arXiv (Cornell University)|2022. 01. 07.

Recommender Systems and Techniques참고 문헌 58인용 수 13

한 줄 요약

이 논문은 항목 추천을 위한 샘플드 소프트맥스(SM) 손실에 대한 종합적인 이론적 및 실증적 분석을 제공하며, 인기 편향 감소, 하드 네거티브 샘플 채굴, 랭킹 메트릭 최적화 측면에서의 우수성을 입증한다. 또한 SSM의 표현 벡터 크기 조정 능력 부족이라는 한계가 그래프 신경망(GNN)의 메시지 전달 메커니즘을 통해 보완될 수 있음을 밝혀내며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The learning objective plays a fundamental role to build a recommender system. Most methods routinely adopt either pointwise or pairwise loss to train the model parameters, while rarely pay attention to softmax loss due to its computational complexity when scaling up to large datasets or intractability for streaming data. The sampled softmax (SSM) loss emerges as an efficient substitute for softmax loss. Its special case, InfoNCE loss, has been widely used in self-supervised learning and exhibited remarkable performance for contrastive learning. Nonetheless, limited recommendation work uses the SSM loss as the learning objective. Worse still, none of them explores its properties thoroughly and answers ``Does SSM loss suit for item recommendation?'' and ``What are the conceptual advantages of SSM loss, as compared with the prevalent losses?'', to the best of our knowledge. In this work, we aim to offer a better understanding of SSM for item recommendation. Specifically, we first theoretically reveal three model-agnostic advantages: (1) mitigating popularity bias; (2) mining hard negative samples; and (3) maximizing the ranking metric. However, based on our empirical studies, we recognize that the default choice of cosine similarity function in SSM limits its ability in learning the magnitudes of representation vectors. As such, the combinations of SSM with the models that also fall short in adjusting magnitudes may result in poor representations. One step further, we provide mathematical proof that message passing schemes in graph convolution networks can adjust representation magnitude according to node degree, which naturally compensates for the shortcoming of SSM. Extensive experiments on four benchmark datasets justify our analyses, demonstrating the superiority of SSM for item recommendation. Our implementations are available in both TensorFlow and PyTorch.

연구 동기 및 목표

• 샘플드 소프트맥스(SSM) 손실이 추천 시스템에서 널리 채택되지 않았음에도 불구하고 항목 추천에 효과적인가를 조사하는 것.
• 기존의 포인트와이즈 및 페어와이즈 손실과 비교해 SSM 손실이 모델에 종속되지 않는 이론적 이점을 분석하는 것.
• 행렬 분해와 같은 모델에서 특히 두드러지는 표현 벡터 크기 조정 능력 부족이라는 SSM 손실의 한계를 규명하고 이를 해결하는 것.
• 메시지 전달 기반 그래프 신경망(GNN)이 이 결함을 자연스럽게 보완할 수 있음을 보여주는 것.
• 다양한 기준 데이터셋과 모델 아키텍처를 대상으로 SSM 손실의 우수성을 실증적으로 검증하는 것.

제안 방법

• 이론적 분석을 통해 SSM 손실이 모든 항목, 특히 장꼬리 항목들에 대해 균일한 주의를 유도함으로써 인기 편향을 완화함을 입증한다.
• 이론적 분석을 통해 SSM 손실이 학습 중 가장 혼동스러운 네거티브 샘플에 집중함으로써 하드 네거티브 샘플 채굴이 내재되어 있음을 보여준다.
• 이론적 분석을 통해 SSM 손실이 NDCG 및 Recall과 같은 랭킹 메트릭을 직접 최적화함으로써, 포인트와이즈나 페어와이즈 손실보다 실제 추천 목표와 더 잘 부합함을 수립한다.
• 수학적 증명을 통해 GNN 내 메시지 전달이 노드의 차수에 따라 표현 벡터 크기를 조정함으로써 SSM의 크기 조정 한계를 상쇄함을 보여준다.
• TF, PyTorch를 모두 지원하는 구현 코드를 공개하여 재현성과 커뮤니티 활용을 보장한다.
• 네 가지 기준 데이터셋을 대상으로 협업 필터링 및 GNN 기반 모델을 사용해 SSM, BPR, 크로스 엔트로피 손실을 비교한 실증 평가를 수행한다.

실험 결과

연구 질문

• RQ1 샘플드 소프트맥스 손실은 항목 추천에 적합한가? 그리고 BPR 및 크로스 엔트로피와 같은 널리 사용되는 손실 함수와 비교해 개념적 우월성은 무엇인가?
• RQ2 SSM 손실은 인기 편향에 어떤 영향을 미치며, 장꼬리 항목 추천 성능 향상에 기여하는가?
• RQ3 어떤 모델은 SSM 손실과 함께 실패하는 이유는 무엇이며, 이 실패의 근본 원인은 무엇인가?
• RQ4 그래프 신경망(GNN)은 SSM 손실의 크기 조정 결함을 보완할 수 있는가?
• RQ5 SSM 손실과 GNN의 조합은 표준 추천 기준 데이터셋에서 성능 향상에 기여하는가?

주요 결과

• SSM 손실은 인기 편향을 크게 감소시켜 장꼬리 항목에 대한 성능 향상을 이끌어내며, 네 가지 기준 데이터셋 전반에서 검증되었다.
• SSM 손실은 하드 네거티브 샘플을 내재적으로 채굴함으로써 더 정보적인 기울기를 제공하고 모델 일반화 능력을 향상시킨다.
• SSM 손실은 NDCG 및 Recall@K와 같은 랭킹 메트릭을 직접 최적화함으로써, 포인트와이즈나 페어와이즈 손실보다 실제 추천 목표와 더 잘 부합한다.
• SSM 손실이 행렬 분해와 같은 모델과 함께 실패하는 이유는 표현 벡터 크기 조정 능력 부족에 기인하며, SSM 자체로는 이를 보완할 수 없다.
• GNN 내 메시지 전달은 노드의 차수에 따라 표현 벡터 크기를 자연스럽게 조정함으로써 SSM의 한계를 효과적으로 보완하고, 향상된 성능을 가능하게 한다.
• 실증 결과에 따르면, SSM 손실과 GNN의 조합은 모든 데이터셋과 평가 지표에서 BPR 및 크로스 엔트로피 기준 모델을 능가하며, 특히 상위 K 랭킹 성능에서 두각을 나타낸다.