[논문 리뷰] Understanding Diversity in Session-Based Recommendation

Yin Qing, Hui Fang외 2명|arXiv (Cornell University)|2022. 08. 29.

Recommender Systems and Techniques인용 수 7

한 줄 요약

이 논문은 정확도와 다양성 간의 상호작용을 조사하기 위해 16종의 최신 세션 기반 추천 시스템(SBRSs)에 대한 종합적인 실험 연구를 수행한다. 비다양화 모델이 강력한 다양성 성능을 달성할 수 있으며, 정확도-다양성 관계가 항상 상충 관계가 되는 것은 아님을 규명한다. 이 관계는 모델과 데이터셋에 따라 긍정적 또는 혼합적인 경향을 보이며, 아이템 임베딩 클러스터링과 데이터셋의 다양성이 다양성 결과에 영향을 미치는 핵심 요소로 드러난다.

ABSTRACT

Current session-based recommender systems (SBRSs) mainly focus on maximizing recommendation accuracy, while few studies have been devoted to improve diversity beyond accuracy. Meanwhile, it is unclear how the accuracy-oriented SBRSs perform in terms of diversity. Besides, the asserted "trade-off" relationship between accuracy and diversity has been increasingly questioned in the literature. Towards the aforementioned issues, we conduct a holistic study to particularly examine the recommendation performance of representative SBRSs w.r.t. both accuracy and diversity, striving for better understanding the diversity-related issues for SBRSs and providing guidance on designing diversified SBRSs. Particularly, for a fair and thorough comparison, we deliberately select state-of-the-art non-neural, deep neural, and diversified SBRSs, by covering more scenarios with appropriate experimental setups, e.g., representative datasets, evaluation metrics, and hyper-parameter optimization technique. Our empirical results unveil that: 1) non-diversified methods can also obtain satisfying performance on diversity, which might even surpass diversified ones; and 2) the relationship between accuracy and diversity is quite complex. Besides the "trade-off" relationship, they might be positively correlated with each other, that is, having a same-trend (win-win or lose-lose) relationship, which varies across different methods and datasets. Additionally, we further identify three possible influential factors on diversity in SBRSs (i.e., granularity of item categorization, session diversity of datasets, and length of recommendation lists).

연구 동기 및 목표

• 세션 기반 추천 시스템(SBRSs)에서 추천 정확도와 다양성 간의 관계를 조사하여 일반적으로 가정되는 상충 관계에 도전한다.
• 비신경, 딥 신경, 다양화된 모델을 포함한 광범위한 SBRSs를 정확도 및 다양성 메트릭스에서 평가하여 공정한 비교를 수행한다.
• 모델 설계 외의 요소, 예를 들어 아이템 분류의 세분성, 데이터셋 내 세션 다양성, 추천 목록 길이 등 다양성 결과에 영향을 미치는 핵심 요소를 규명한다.
• 학습된 아이템 임베딩 분석과 PCP 및 NCP 구성 요소 제안을 통해 다양화된 SBRSs를 구축하기 위한 실용적 설계 지침을 제공한다.
• 개선된 임베딩 표현을 통해 정확도를 희생시키지 않고도 다양성을 향상시킬 수 있음을 입증한다.

제안 방법

• 연구는 Diginetica, Retailrocket, Tmall, Yoochoose의 네 가지 대표적 데이터셋에서 16종의 최신 SBRSs를 평가한다.
• 다양한 평가 메트릭스를 사용한다: HR@10(정확도), ILD@10(다양성), F-score@10(통합 성능).
• 임베딩에서 서로 다른 카테고리의 혼합을 장려하기 위해 두 가지 새로운 구성 요소—PCP(Pairwise Category Prior)와 NCP(Neighborhood Category Prior)—를 도입한다.
• PCP는 카테고리별 사전 확률을 학습하여 카테고리 간 혼합을 촉진하는 반면, NCP는 국소적 임베딩 정규화를 통해 지역 수준의 다양성을 장려한다.
• PCP와 NCP의 효과는 STAMP 모델에 통합하여 전자상거래 데이터셋에서 평가하고, 임베딩 공간의 시각화를 위해 UMAP를 사용하여 검증한다.
• 사례 연구를 통해 임베딩 클러스터링 패턴을 분석하고, 모델 성능과 학습된 표현에서의 카테고리 분리 정도 간의 연관성을 규명한다.

실험 결과

연구 질문

• RQ1 SBRS에서 정확도와 다양성 간의 일반적으로 가정되는 상충 관계가 다양한 모델과 데이터셋에서 유지되는가?
• RQ2 전용 다양성 모듈 없이도 비다양화 SBRS가 강력한 다양성 성능을 달성할 수 있는가?
• RQ3 아이템 분류의 세분성, 데이터셋 내 세션 다양성, 추천 목록 길이 등의 요소가 다양성 결과에 어떤 영향을 미치는가?
• RQ4 학습된 아이템 임베딩이 카테고리 수준의 클러스터링을 얼마나 잘 반영하는가, 그리고 이는 다양성에 어떤 영향을 미치는가?
• RQ5 PCP와 NCP를 통한 개선된 임베딩 표현은 SBRS에서 정확도와 다양성을 동시에 향상시킬 수 있는가?

주요 결과

• GRU4Rec, POP, S-POP 등의 비다양화 모델이 MCPRN 및 ComiRec와 같은 전용 다양화 모델을 뛰어넘는 경쟁력 있는 다양성 성능을 달성한다.
• 정확도와 다양성 간의 관계는 항상 상충 관계가 아니며, 많은 경우 양의 상관관계를 보이며, 이는 모델과 데이터셋에 따라 승자-승자 또는 패자-패자 경향을 보임을 시사한다.
• IDSR는 항상 다양성 메트릭스에서 상위권을 유지하며, 전용 다양성 모듈의 효과성을 입증한다.
• 모든 세 전자상거래 데이터셋에서 NCP는 PCP보다 다양성(ILD@10)과 통합 성능(F-score@10)에서 뛰어난 성능을 보이며, Diginetica와 Retailrocket에서는 PCP가 더 높은 정확도를 기록한다.
• 데이터셋 내 세션 다양성 수준(데이터셋 다양성 점수로 측정)이 모델 성능에 크게 영향을 미친다: Tmall처럼 매우 다양한 데이터셋은 임베딩 조작을 통한 다양성 향상에 더 어려움을 준다.
• UMAP를 사용한 학습된 임베딩의 시각화 결과, 임베딩 공간에서 카테고리 간 혼합이 더 잘 이루어진 모델일수록 더 뛰어난 다양성 성능을 보이며, 이는 PCP와 NCP가 다양성 향상에 효과적인 구성 요소로 설계되었음을 뒷받침한다.