[논문 리뷰] Metapath- and Entity-aware Graph Neural Network for Recommendation

Muhammad Umer Anwaar, Zhiwei Han외 7명|arXiv (Cornell University)|2020. 10. 22.

Recommender Systems and Techniques참고 문헌 50인용 수 5

한 줄 요약

이 논문은 메타패스 및 엔터티 인지 기반 그래프 신경망인 PEAGNN을 제안한다. 이는 메타패스 인지 서브그래프를 통해 다단계 순차적 의미를 명시적으로 모델링하고, 어텐션을 통한 융합을 통해 추천 성능을 향상시킨다. 일괄 최적화를 통해 BPR 손실과 대비 엔터티 인지 정규화를 활용하여 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In graph neural networks (GNNs), message passing iteratively aggregates nodes' information from their direct neighbors while neglecting the sequential nature of multi-hop node connections. Such sequential node connections e.g., metapaths, capture critical insights for downstream tasks. Concretely, in recommender systems (RSs), disregarding these insights leads to inadequate distillation of collaborative signals. In this paper, we employ collaborative subgraphs (CSGs) and metapaths to form metapath-aware subgraphs, which explicitly capture sequential semantics in graph structures. We propose meta extbf{P}ath and extbf{E}ntity- extbf{A}ware extbf{G}raph extbf{N}eural extbf{N}etwork (PEAGNN), which trains multilayer GNNs to perform metapath-aware information aggregation on such subgraphs. This aggregated information from different metapaths is then fused using attention mechanism. Finally, PEAGNN gives us the representations for node and subgraph, which can be used to train MLP for predicting score for target user-item pairs. To leverage the local structure of CSGs, we present entity-awareness that acts as a contrastive regularizer on node embedding. Moreover, PEAGNN can be combined with prominent layers such as GAT, GCN and GraphSage. Our empirical evaluation shows that our proposed technique outperforms competitive baselines on several datasets for recommendation tasks. Further analysis demonstrates that PEAGNN also learns meaningful metapath combinations from a given set of metapaths.

연구 동기 및 목표

• 기존 GNN이 사용자-아이템 상호작용 그래프 내의 순차적 다단계 관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 고차원 사용자-아이템 상호작용 패턴을 코딩하는 메타패스 인지 서브그래프를 명시적으로 모델링하여 공동 필터링 성능을 향상시키기 위해.
• 대비 정규화(엔터티 인지성)를 통해 제1차 구조적 연결성을 통합하여 노드 표현을 향상시키기 위해.
• 전체 그래프 재구성 없이 실시간 메타패스 유도 메시지 전파를 통해 효율적이고 확장 가능한 메시지 전파를 가능하게 하기 위해.
• 어텐션 기반 메커니즘을 통해 메타패스 중요도와 융합을 종합적으로 학습함으로써 해석 가능하고 적응 가능한 추천을 가능하게 하기 위해.

제안 방법

• 사용자-아이템 쌍 중심의 h-호프 둘러싸인 공동 서브그래프(CSG)를 구축하여 관련 없는 상호작용으로 인한 노이즈를 억제한다.
• 사전 정의된 메타패스 스키마에 따라 각 CSG를 γ개의 메타패스 인지 서브그래프로 분해하여 순차적 의미를 분리한다.
• 다층 GNN(예: GCN, GAT, GraphSAGE)을 사용하여 각 서브그래프에서 메타패스 인지 메시지 전파를 수행하여 다단계 정보를 집계한다.
• 다양한 메타패스 인지 서브그래프의 표현을 어텐션 기반 메커니즘을 통해 융합하여 동적 중요도 가중치를 학습한다.
• 사용자/아이템 노드를 연결된 특성 엔터티와 가까이, 연결되지 않은 엔터티와는 멀리 떨어지게 하는 대비 정규화로서 엔터티 인지성을 도입한다.
• 추천 정확도와 구조 일관성을 동시에 최적화하기 위해 BPR 손실과 엔터티 인지성 손실의 조합을 사용하여 모델을 종단 간 학습한다.

실험 결과

연구 질문

• RQ1 표준 GNN과 비교해 메타패스 인지 서브그래프를 명시적으로 모델링할 경우 추천 성능 향상에 어떤 기여를 하는가?
• RQ2 특히 희소 환경에서 엔터티 인지성이 노드 표현 품질과 추천 정확도에 미치는 영향은 어떠한가?
• RQ3 모델 성능에 가장 기여하는 메타패스는 무엇이며, PEAGNN는 의미 있는 메타패스 조합을 자동으로 학습할 수 있는가?
• RQ4 실시간 메타패스 유도 메시지 전파 방식이 메타패스 재구성 방식과 비교해 효율성과 성능 면에서 어떻게 다른가?
• RQ5 PEAGNN의 어텐션 기반 메커니즘은 중요한 메타패스 조합을 식별하고 우선순위를 정할 수 있는가?

주요 결과

• PEAGNN는 다양한 데이터셋에서 일관된 성능 향상을 보이며, ML-small 데이터셋에서 엔터티 인지성을 적용했을 때 HR@10 기준 최소 1.9% 향상되었다.
• Yelp 데이터셋에서는 엔터티 인지성을 적용한 PEASage가 NDCG@10 기준 4.06% 향상되어 밀도 높고 실제 세계적인 그래프에서의 효과를 입증했다.
• 메타패스 Y-M-U(Year-Movie-User)는 성능에 가장 큰 영향을 미치며, 제거 시 HR@10에서 일관되게 10% 이상 감소하여 사용자 선호도 모델링에서 핵심적인 역할을 함을 시사한다.
• U-M-U(User-Movie-User) 및 M-U-M(Movie-User-Movie)와 같은 메타패스는 사용자 행동의 공유 효과를 강조하며 주요 기여 요소로 작용한다.
• 태그 관련 메타패스(T-M-U 등)를 제거할 경우 한 번의 실행에서 성능이 15.32% 감소하여 사용자-아이템 상호작용 모델링에서 상호 보완적인 역할을 함을 시사한다.
• PEAGNN의 어텐션 기반 메커니즘은 의미 있는 메타패스 조합에 더 높은 가중치를 할당하여 해석 가능하고 점진적인 모델 개선을 가능하게 한다.