[논문 리뷰] DiffNet++: A Neural Influence and Interest Diffusion Network for Social Recommendation

Le Wu, Junwei Li외 4명|arXiv (Cornell University)|2020. 01. 15.

Recommender Systems and Techniques참고 문헌 51인용 수 48

한 줄 요약

DiffNet++은 사회적 그래프(사용자-간의)와 관심 그래프(사용자-아이템)에서 신경 확산을 통합하여 사회적 추천을 위한 향상된 사용자/아이템 임베딩을 학습하고, 여러 데이터셋에서 기준 모델을 상회합니다.

ABSTRACT

Social recommendation has emerged to leverage social connections among users for predicting users' unknown preferences, which could alleviate the data sparsity issue in collaborative filtering based recommendation. Early approaches relied on utilizing each user's first-order social neighbors' interests for better user modeling and failed to model the social influence diffusion process from the global social network structure. Recently, we propose a preliminary work of a neural influence diffusion network (i.e., DiffNet) for social recommendation (Diffnet), which models the recursive social diffusion process to capture the higher-order relationships for each user. However, we argue that, as users play a central role in both user-user social network and user-item interest network, only modeling the influence diffusion process in the social network would neglect the users' latent collaborative interests in the user-item interest network. In this paper, we propose DiffNet++, an improved algorithm of DiffNet that models the neural influence diffusion and interest diffusion in a unified framework. By reformulating the social recommendation as a heterogeneous graph with social network and interest network as input, DiffNet++ advances DiffNet by injecting these two network information for user embedding learning at the same time. This is achieved by iteratively aggregating each user's embedding from three aspects: the user's previous embedding, the influence aggregation of social neighbors from the social network, and the interest aggregation of item neighbors from the user-item interest network. Furthermore, we design a multi-level attention network that learns how to attentively aggregate user embeddings from these three aspects. Finally, extensive experimental results on two real-world datasets clearly show the effectiveness of our proposed model.

연구 동기 및 목표

• 협업 필터링에서 데이터 희소성을 해결하기 위한 사회 정보와 고차 그래프 구조를 활용하는 동기 부여.
• 사회적 영향 확산과 관심 확산을 결합적으로 포착하는 통합 모델 제안.
• 다층 주의 메커니즘 설계하여 두 그래프 및 다중 확산 층의 정보를 적응적으로 융합.
• 다차원 확산 층을 통해 사용자 및 아이템 임베딩을 학습하여 고차 관계를 포착.
• 베이스라인과 비교하여 실세계 데이터에서 상위-N 추천 성능 향상 시연.

제안 방법

• 관련 사용자/아이템 속성을 가진 사용자-간 사회 그래프와 사용자-아이템 관심 그래프로 구성된 이질 그래프 G를 형식화한다.
• DiffNet++로 확장하여 사회 그래프의 영향 확산과 아이템 그래프의 관심 확산을 통합 프레임워크에서 공동으로 모델링한다.
• 임베딩 계층을 사용하여 자유로운 사용자/아이템 임베딩을 얻고 속성과 결합하는 융합 계층을 사용한다.
• 다층 주의 네트워크를 통해 이웃과 그래프로부터 합산 가중치를 학습하며 영향 확산 및 관심 확산 층을 통해 사용자 및 아이템 임베딩을 반복적으로 업데이트한다.
• 사용자-아이템 그래프에서 주의 가중치를 통해 이웃 사용자로부터 아이템 표현을 집계하고, 사회적 영향과 아이템-관심 신호를 모두 사용하여 그래프 수준의 융합 가중치로 사용자 표현을 업데이트한다.
• 확산 층에서 연결된 임베딩들을 이어붙여 예측한다( LR-GCCF 스타일 예측을 따라 과도한 평탄화(over-smoothing)을 완화한다).

실험 결과

연구 질문

• RQ1 상호 연관된 고차 사회 영향 확산과 아이템-관심 확산을 공동으로 모델링하는 것이 그래프 하나만 모델링하는 것보다 사회적 추천을 향상시킬 수 있는가?
• RQ2 각 사용자에 대해 사회 그래프와 아이템 그래프의 기여를 적응적으로 균형 잡기 위해 다층 주의는 어떻게 설계될 수 있는가?
• RQ3 전파 깊이 K가 추천 성능에 미치는 영향은 무엇이며, DiffNet++은 과도한 평탄화(over-smoothing)를 어떻게 완화하는가?
• RQ4 DiffNet++ 기반 임베딩이 실제 데이터셋에서 상위-N 추천에 대해 강력한 베이스라인을 능가하는가?

주요 결과

• Yelp에서 약 14%, Flickr에서 21%, Epinions에서 12%, Dianping에서 4%의 상위-10 추천 성능 개선으로 DiffNet++가 최적 베이스라인을 능가한다.
• 모델은 다층 주의 메커니즘을 통해 사회적 및 아이템 네트워크의 고차 정보를 효과적으로 융합한다.
• 아이템 임베딩은 아이템-그래프에서 이웃 사용자의 집계와 학습된 주의 가중치를 통해 이익을 얻는다.
• 사용자 임베딩은 사회적 영향과 아이템-관심 확산 모두를 통합하며, 그래프 인식 융합 가중치는 사용자별로 개인화된다.
• 네 가지 실세계 데이터세트에서 제안된 통합 프레임워크의 효과를 입증한다.