[논문 리뷰] Inter-sequence Enhanced Framework for Personalized Sequential Recommendation

Feng Liu, Weiwen Liu외 2명|arXiv (Cornell University)|2020. 04. 25.

Recommender Systems and Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 사용자-아이템 이분 그래프와 아이템-아이템 공존 그래프에 기반한 그래프 신경망(GNN)을 사용하여 순차적 추천에서 내부 시퀀스 및 외부 시퀀스 간의 아이템 상관관계를 명시적으로 모델링하는 새로운 프레임워크 ISSR을 제안한다. GNN을 활용해 고차원의 외부 시퀀스 종속성을 캡처하고, GRU 및 어텐션 네트워크를 결합하여 내부 시퀀스 다이나믹스를 모델링함으로써, 세 개의 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 강력한 기준 모델 대비 Recall@10에서 최대 25.0% 향상됨.

ABSTRACT

Modeling the sequential correlation of users' historical interactions is essential in sequential recommendation. However, the majority of the approaches mainly focus on modeling the \emph{intra-sequence} item correlation within each individual sequence but neglect the \emph{inter-sequence} item correlation across different user interaction sequences. Though several studies have been aware of this issue, their method is either simple or implicit. To make better use of such information, we propose an inter-sequence enhanced framework for the Sequential Recommendation (ISSR). In ISSR, both inter-sequence and intra-sequence item correlation are considered. Firstly, we equip graph neural networks in the inter-sequence correlation encoder to capture the high-order item correlation from the user-item bipartite graph and the item-item graph. Then, based on the inter-sequence correlation encoder, we build GRU network and attention network in the intra-sequence correlation encoder to model the item sequential correlation within each individual sequence and temporal dynamics for predicting users' preferences over candidate items. Additionally, we conduct extensive experiments on three real-world datasets. The experimental results demonstrate the superiority of ISSR over many state-of-the-art methods and the effectiveness of the inter-sequence correlation encoder.

연구 동기 및 목표

• 기존 순차적 추천 방법이 주로 내부 시퀀스 아이템 상관관계에 집중하면서 다른 사용자 상호작용 시퀀스 간의 외부 시퀀스 상관관계를 간과하는 한계를 해결하고자 한다.
• 구조화된 사용자-아이템 및 아이템-아이템 상호작용 그래프에 기반한 그래프 신경망을 사용해 고차원의 외부 시퀀스 아이템 상관관계를 명시적으로 모델링하고자 한다.
• 외부 시퀀스 및 내부 시퀀스 모델링을 통합한 유일한 프레임워크를 통해 개인화된 순차적 추천 정확도를 향상시키고자 한다.
• 다양한 데이터셋과 추천 기준 모델에서 외부 시퀀스 상관관계 인코딩의 효과를 실증적으로 검증하고자 한다.

제안 방법

• 외부 시퀀스 상관관계 인코더는 사용자-아이템 이분 그래프와 아이템-아이템 공존 그래프에 기반한 그래프 신경망을 활용하여 다양한 사용자 시퀀스 간의 고차원 아이템 상관관계를 캡처한다.
• 내부 시퀀스 상관관계 인코더는 GRU와 다중헤드 어텐션 메커니즘을 결합하여 개별 사용자 상호작용 시퀀스 내의 순차적 종속성과 시간 동적 특성을 모델링한다.
• 아이템 임베딩은 먼저 두 그래프에서 GNN을 통해 풍부화된 후, 사용자 관심 표현 학습을 위한 GRU-어텐션 모듈에 입력된다.
• 최종 예측 헤드는 사용자가 학습한 관심 표현을 활용해 후보 집합에서 다음에 나올 가능성이 높은 아이템을 예측한다.
• 프레임워크는 음성 샘플링과 표준 추천 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 제거 실험은 각 구성 요소의 기여도를 평가하며, MF 기반 및 단일 그래프 인코더와 같은 변형을 사용한다.

실험 결과

연구 질문

• RQ1 다른 사용자 상호작용 시퀀스 간의 아이템 상관관계를 모델링하면 순차적 추천 성능이 향상되는가?
• RQ2 사용자-아이템 이분 그래프와 아이템-아이템 공존 그래프 간의 다양한 그래프 구조는 고차원 외부 시퀀스 상관관계를 캡처하는 데 어떤 기여를 하는가?
• RQ3 기존 RNN-, CNN-, 어텐션 기반 순차적 추천 모델에 외부 시퀀스 상관관계 인코딩을 통합할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 프레임워크에서 모델 용량과 성능를 균형 잡기 위해 최적의 아이템 임베딩 차원은 얼마인가?

주요 결과

• ISSR는 세 개의 실세계 데이터셋에서 최신 기술 수준 성능를 달성하였으며, Recall, nDCG, HR, MRR 지표에서 다수의 SOTA 방법을 능가한다.
• MovieLens (1M) 데이터셋에서 GRU4Rec에 추가했을 때 Recall@10이 최대 25.0% 향상되었고, SASRec에선 14.8%, Caser에선 9.0% 향상됨.
• 이중 그래프 GNN 인코더(이분 + 공존)는 단일 그래프 및 MF 기반 기준 모델보다 뛰어난 성능을 보이며, ISSR은 MovieLens (1M)에서 Recall@10 0.1563, Steam에서는 0.0872를 기록함.
• 사용자-아이템 이분 그래프와 아이템-아이템 공존 그래프가 성능 향상에 거의 동일한 기여를 하며, 둘을 조합할 경우 최고의 성능를 기록함.
• 모델 성능은 임베딩 차원 d=64에서 최고에 도달하며, 이후 증가시켜도 성능 향상 없이 또는 약간의 저하가 발생함(모델 용량 포화로 인한 영향).
• 제거 실험을 통해 외부 시퀀스 모델링이 필수적임을 확인하였으며, '내부 시퀀스 전용' 버전은 모든 다른 구성보다 유의미하게 열등한 성능를 보임.