[논문 리뷰] Sequential Recommendation with Graph Neural Networks

Jianxin Chang, Chen Gao외 6명|arXiv (Cornell University)|2021. 06. 27.

Recommender Systems and Techniques참고 문헌 62인용 수 20

한 줄 요약

이 논문은 암묵적 피드백에서 노이즈가 많은 사용자 행동 시계열을 조밀한 아이템-아이템 관심 그래프로 변환하여 핵심 선호도를 정제하는 그래프 신경망 모델 SURGE를 제안한다. 클러스터 인식 그래프 컨볼루션과 동적 그래프 풀링을 적용함으로써 SURGE는 변화하는 사용자 관심사를 효과적으로 포착하며, 공개 및 산업계 데이터셋에서 최신 기술 수준의 성능을 달성한다. 특히 장시계열 모델링에서 뛰어난 성능을 보인다.

ABSTRACT

Sequential recommendation aims to leverage users' historical behaviors to predict their next interaction. Existing works have not yet addressed two main challenges in sequential recommendation. First, user behaviors in their rich historical sequences are often implicit and noisy preference signals, they cannot sufficiently reflect users' actual preferences. In addition, users' dynamic preferences often change rapidly over time, and hence it is difficult to capture user patterns in their historical sequences. In this work, we propose a graph neural network model called SURGE (short for SeqUential Recommendation with Graph neural nEtworks) to address these two issues. Specifically, SURGE integrates different types of preferences in long-term user behaviors into clusters in the graph by re-constructing loose item sequences into tight item-item interest graphs based on metric learning. This helps explicitly distinguish users' core interests, by forming dense clusters in the interest graph. Then, we perform cluster-aware and query-aware graph convolutional propagation and graph pooling on the constructed graph. It dynamically fuses and extracts users' current activated core interests from noisy user behavior sequences. We conduct extensive experiments on both public and proprietary industrial datasets. Experimental results demonstrate significant performance gains of our proposed method compared to state-of-the-art methods. Further studies on sequence length confirm that our method can model long behavioral sequences effectively and efficiently.

연구 동기 및 목표

• 장시간에 걸친 노이즈가 많은 행동 시계열에서 동적이고 변화하는 사용자 선호도를 모델링하는 데 도전하는 것.
• 최근 행동에 집중하는 기존 방법의 한계를 극복하고 장기적 암묵적 피드백을 효과적으로 활용하지 못하는 문제를 해결하는 것.
• 암묵적 신호에서 사용자 핵심 관심사를 명시적으로 클러스터링하고 추출하는 그래프 기반 프레임워크를 제안하는 것.
• 행동 시계열을 구조화된 관심 그래프로 변환함으로써 장기간의 행동 시계열을 효과적이고 효율적으로 모델링할 수 있도록 하는 것.

제안 방법

• 사용자 상호작용 패턴을 기반으로 유사한 아이템을 그룹화하기 위해 메트릭 학습을 사용하여 느슨한 사용자 행동 시계열을 재인코딩하여 조밀한 아이템-아이템 관심 그래프를 구축한다.
• 약한 선호 신호를 강력하고 더 대표적인 관심 클러스터로 집계하기 위해 주의 기반 그래프 컨볼루션 네트워크를 적용한다.
• 각 클러스터 내에서 사용자 관심 표현을 전파하고 정밀하게 개선하기 위해 클러스터 인식 그래프 컨볼루션을 도입한다.
• 질의 인식 주의를 기반으로 현재 활성화된 핵심 관심사만 적응적으로 선택하고 유지하는 동적 그래프 풀링을 구현한다.
• 추론 시기 동안 서로 다른 관심 클러스터의 중요도를 가중치를 주기 위해 학습 가능한 주의 메커니즘을 사용하여 현재 사용자 선호도를 반영한다.
• 관심 클러스터링과 다음 아이템 예측을 동시에 최적화하기 위해 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 암묵적 피드백이 있는 장시간 노이즈가 많은 행동 시계열에서 그래프 기반 접근 방식이 핵심 사용자 관심사를 효과적으로 정제할 수 있는가?
• RQ2 그래프 신경망 모델은 시간에 따라 변화하는 사용자 선호도의 동적 변화를 얼마나 잘 포착할 수 있는가?
• RQ3 느슨한 행동 시계열을 조밀한 관심 그래프로 변환하는 것이 기존 방법에 비해 순차 추천 성능을 향상시키는가?
• RQ4 제안된 방법은 성능 저하 없이 장기간의 행동 시계열을 효과적으로 모델링할 수 있는가?
• RQ5 동적 그래프 풀링은 예측 과정에서 비활성화되거나 관련이 없는 관심사를 어떻게 걸러내는가?

주요 결과

• SURGE는 공개 및 기업 내부 산업 데이터셋 모두에서 최신 기술 수준의 방법들보다 뚜렷한 성능 향상을 보이며, 재현율과 정밀도 지표에서 모두 개선을 이룬다.
• 공개된 DLRM 데이터셋에서 SURGE는 Recall@20가 0.8906, Precision@20가 0.4228을 기록하여 이전 최고 성능를 초월한다.
• 기업 내부 Kuaishou 데이터셋에서 SURGE는 Recall@20가 0.8525, Precision@20가 0.9316를 기록하여 실제 세계 데이터에 대한 뛰어난 일반화 능력을 입증한다.
• 절단 실험 결과 그래프 구축 및 동적 풀링 구성 요소가 성능에 핵심적인 영향을 미치며, 특히 장시계열 환경에서 두드러진다.
• 모델은 높은 효율성과 확장성을 유지하며, 시계열 길이가 증가함에 따라 안정적인 성능을 보인다.
• 노이즈가 많고 핵심이 아닌 선호도를 효과적으로 걸러내어 현재 활성화된 관심사에 집중함으로써 더 정확한 다음 아이템 예측을 가능하게 한다.