[논문 리뷰] NISER: Normalized Item and Session Representations to Handle Popularity Bias

Priyanka Gupta, D. Garg외 3명|arXiv (Cornell University)|2019. 09. 10.

Speech Recognition and Synthesis참고 문헌 13인용 수 28

한 줄 요약

이 논문은 그래프 신경망(GNN) 기반 시스템에서 인기 품목에 대한 편향을 완화하기 위해 항목 및 세션-그래프 임베딩을 단위 초구면에 정규화하는 NISER라는 세션 기반 추천 모델을 제안한다. 내적 대신 코사인 유사도를 최적화함으로써, NISER는 장꼬리 및 신규 도입 품목의 추천 성능을 크게 향상시키며, 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하면서도 인기 품목에 대한 편향을 감소시킨다.

ABSTRACT

The goal of session-based recommendation (SR) models is to utilize the information from past actions (e.g. item/product clicks) in a session to recommend items that a user is likely to click next. Recently it has been shown that the sequence of item interactions in a session can be modeled as graph-structured data to better account for complex item transitions. Graph neural networks (GNNs) can learn useful representations for such session-graphs, and have been shown to improve over sequential models such as recurrent neural networks [14]. However, we note that these GNN-based recommendation models suffer from popularity bias: the models are biased towards recommending popular items, and fail to recommend relevant long-tail items (less popular or less frequent items). Therefore, these models perform poorly for the less popular new items arriving daily in a practical online setting. We demonstrate that this issue is, in part, related to the magnitude or norm of the learned item and session-graph representations (embedding vectors). We propose a training procedure that mitigates this issue by using normalized representations. The models using normalized item and session-graph representations perform significantly better: i. for the less popular long-tail items in the offline setting, and ii. for the less popular newly introduced items in the online setting. Furthermore, our approach significantly improves upon existing state-of-the-art on three benchmark datasets.

연구 동기 및 목표

• 왜곡된 품목 빈도 분포로 인해 인기 있는 품목이 과도하게 표현되는 GNN 기반 세션 기반 추천 모델에서 인기 품목 편향을 해결하기 위해.
• 항목 및 세션-그래프 임베딩의 L2 노름을 정규화함으로써 편향을 줄이고, 장꼬리 및 신규 도입 품목의 성능을 향상시킬 수 있는지 조사하기 위해.
• 학습 및 추론 모두 동안 표현을 단위 초구면에 제약하는 학습 절차를 개발하여 공정성과 일반화 능력을 향상시키기 위해.
• 오프라인 및 온라인 추천 환경에서 정규화된 표현의 효과를 입증하고, 특히 저빈도 및 신규 품목에 대해 성능 향상을 보여주기 위해.
• 기존의 GNN 기반 모델인 SR-GNN과 비교하여 성능을 향상시켜 세션 기반 추천 분야에서 새로운 최신 기술 성능을 수립하기 위해.

제안 방법

• 항목 및 세션-그래프 임베딩의 L2 노름을 단위로 정규화하여, 표현이 단위 초구면 위에 위치하도록 하는 NISER 모델을 제안한다.
• 표준 내적 손실 대신 코사인 유사도를 학습 목표에 통합하여, 임베딩 노름의 크기 차이로 인한 편향을 줄인다.
• 순서 정보를 유지하면서도 그래프 기반 메시지 전파를 유지하기 위해 GNN 아키텍처에 위치 임베딩을 통합한다.
• 특히 신규 품목의 데이터가 적은 환경에서 과적합을 줄이고 일반화 능력을 향상시키기 위해 항목 임베딩에 드롭아웃을 적용한다.
• 세션-그래프 표현이 다음 클릭된 품목의 표현과 일치하도록 유도하는 대조 학습 목표를 사용하여 모델을 훈련한다.
• 이중 단계 훈련 과정을 적용: 먼저 정규화된 L2 제약 조건을 갖는 임베딩을 사전 훈련하고, 이후 위치 및 드롭아웃 구성 요소를 포함한 전체 손실 함수로 미세조정한다.

실험 결과

연구 질문

• RQ1 GNN 기반 세션 기반 추천 모델에서 항목 및 세션-그래프 임베딩의 L2 노름을 정규화하면 인기 편향이 감소하는가?
• RQ2 정규화된 표현은 온라인 환경에서 덜 인기 있는 품목 및 신규 도입 품목의 추천 성능을 향상시킬 수 있는가?
• RQ3 정규화, 위치 임베딩, 드롭아웃의 조합이 모델의 전체 성능와 내구성에 어떤 영향을 미치는가?
• RQ4 NISER는 오프라인 및 온라인 평가 환경 모두에서 기존 최신 기술 모델을 얼마나 뛰어넘는가?
• RQ5 다중 클래스 분류 설정에서 소프트맥스 손실이 유도하는 반경 편향을 정규화된 임베딩이 얼마나 효과적으로 완화하는가?

주요 결과

• ϕ* = 0.01인 매우 저빈도 품목을 대상으로 하는 세션에 대해 NISER+는 Recall@20와 MRR@20에서 각각 13%에서 28%의 상대적 향상률을 기록했으며, ϕ* = 0.001일 경우 각각 최대 26%와 34%의 향상률을 기록했다.
• 신규 도입된 장꼬리 품목에 대해 NISER+는 출시 당일 GNN+를 능가했으며, 훈련 데이터가 제한된 상황에서도 효과적으로 신규 품목을 추천할 수 있음을 보여주었다.
• NISER+는 시간이 지남에 따라 인기 편향이 증가함에도 불구하고 일관된 성능을 유지하는 반면, GNN+는 특히 YC 데이터셋에서 심각하게 성능이 저하되었다.
• 절단 실험 결과, 임베딩의 L2 정규화가 가장 중요한 구성 요소로 밝혀졌으며, 모든 데이터셋에서 위치 임베딩이나 드롭아웃보다 더 큰 기여를 하였다.
• NISER+는 세 가지 벤치마크 데이터셋(DN, RR, YC)에서 새로운 최신 기술 성능을 달성했으며, 모든 설정에서 Recall@20와 MRR@20에서 GNN+를 능가했다.
• ARP(Average Recall for Popularity)가 크게 감소하여, 특히 저빈도 품목에 대해 인기 편향이 현저히 감소함을 나타내었다.