[논문 리뷰] Graph Neural News Recommendation with Long-term and Short-term Interest Modeling

Linmei Hu, Chen Li외 3명|arXiv (Cornell University)|2019. 10. 30.

Recommender Systems and Techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 이질적인 사용자-뉴스-주제 그래프를 구축하여 사용자의 장기적 및 단기적 관심사를 동시에 모델링하는 그래프 신경망 기반 뉴스 추천 모델인 GNewsRec을 제안한다. 고차원의 사용자-아이템 상호작용을 캡처하기 위해 그래프 컬러션 네트워크(GCN)를 활용하고, 최근 독서 행동을 위해 어텐션 기반 LSTMs를 사용함으로써, 실제 데이터셋에서 최신 기술보다 뛰어난 성능을 내며 AUC 및 F1 지표에서 SOTA 성능을 달성한다.

ABSTRACT

With the information explosion of news articles, personalized news recommendation has become important for users to quickly find news that they are interested in. Existing methods on news recommendation mainly include collaborative filtering methods which rely on direct user-item interactions and content based methods which characterize the content of user reading history. Although these methods have achieved good performances, they still suffer from data sparse problem, since most of them fail to extensively exploit high-order structure information (similar users tend to read similar news articles) in news recommendation systems. In this paper, we propose to build a heterogeneous graph to explicitly model the interactions among users, news and latent topics. The incorporated topic information would help indicate a user's interest and alleviate the sparsity of user-item interactions. Then we take advantage of graph neural networks to learn user and news representations that encode high-order structure information by propagating embeddings over the graph. The learned user embeddings with complete historic user clicks capture the users' long-term interests. We also consider a user's short-term interest using the recent reading history with an attention based LSTM model. Experimental results on real-world datasets show that our proposed model significantly outperforms state-of-the-art methods on news recommendation.

연구 동기 및 목표

• 사용자, 뉴스, 주제 간의 고차원 구조적 관계를 활용하여 뉴스 추천에서의 데이터 희소성 문제를 해결한다.
• 개선된 개인화를 위해 장기적 및 단기적 사용자 관심사를 모두 모델링한다.
• 잠재 주제 정보를 사용자-아이템 상호작용의 다리로 삼아 콜드스터트 및 희소성 문제를 완화한다.
• 협업 필터링 및 콘텐츠 기반 신호를 그래프 신경망을 통해 통합하는 통합 프레임워크를 개발한다.

제안 방법

• 사용자, 뉴스 기사, 잠재 주제 간의 상호작용을 명시적으로 모델링하기 위해 이질적인 사용자-뉴스-주제 그래프를 구축한다.
• 그래프 컬러션 네트워크(GCN)를 적용하여 그래프를 따라 임베딩을 전파함으로써 사용자 및 뉴스 표현 내 고차원 구조적 정보를 캡처한다.
• GCN로 학습된 사용자 임베딩을 사용하여 완전한 클릭 기록에서 장기적 사용자 관심사를 학습한다.
• 최근 사용자 클릭 시퀀스에 대해 어텐션 기반 LSTM을 사용하여 단기적 관심사를 모델링한다.
• 최종 사용자 표현을 얻기 위해 장기적 및 단기적 사용자 임베딩을 요소별 연결 또는 어텐션 메커니즘을 통해 통합한다.
• 결합된 사용자 임베딩과 뉴스 임베딩 간의 유사도 점수를 사용하여 후보 뉴스의 관련성을 예측한다.

실험 결과

연구 질문

• RQ1 장기적 및 단기적 사용자 관심사를 동시에 모델링할 경우 뉴스 추천 성능가 어떻게 향상되는가?
• RQ2 주제 정보를 통합할 경우 사용자-아이템 상호작용의 데이터 희소성 문제는 어느 정도 완화되는가?
• RQ3 그래프 신경망을 통해 캡처된 고차원 구조적 정보는 뉴스 추천에 어떤 기여를 하는가?
• RQ4 다양한 아키텍처 구성 요소(예: GNN 레이어, 임베딩 차원)는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• GNewsRec은 Adressa-1week 데이터셋에서 AUC 81.16% 및 F1 82.85%의 SOTA 성능을 달성하며 모든 베이스라인을 압도한다.
• GNN 모듈을 제거하면 AUC가 5%p 이상 감소하여 고차원 구조 학습의 핵심적 역할을 확인한다.
• 단기적 관심사 모델링을 생략할 경우 AUC 및 F1 모두 2%p 감소하여 동적 사용자 선호도에 대한 중요성을 확인한다.
• 주제 정보를 생략할 경우 성능 저하가 심각하게 발생하여 주제 정보가 데이터 희소성 및 콜드스터트 문제를 효과적으로 완화함을 보여준다.
• 최적의 GNN 깊이는 두 레이어이며, 세 레이어 이상의 깊은 네트워크에서는 노이즈가 증가하여 성능 저하가 발생한다.
• 최적의 임베딩 차원은 128이며, 이는 과적합 및 노이즈로 인해 더 큰 차원에서는 성능이 저하되기 시작함을 보여준다.