[논문 리뷰] Modeling Scale-free Graphs with Hyperbolic Geometry for Knowledge-aware Recommendation

Yankai Chen, Meng‐Lin Yang외 5명|arXiv (Cornell University)|2021. 08. 14.

Recommender Systems and Techniques인용 수 10

한 줄 요약

이 논문은 통합된 사용자-아이템 상호작용 및 지식 그래프(KG) 데이터의 계층적이고 스케일프리 구조를 더 잘 포착하기 위해 쌍곡기하학의 로렌츠 모델을 활용하는 지식 인식 추천 모델인 LKGR을 제안한다. 초점은 초점에서의 그래프 컨볼루션과 주의 기반 정보 집합을 쌍곡기하 공간에서 수행함으로써, 세 가지 실세계 벤치마크에서 최신 기술 대비 Recall@20가 3.6–15.3% 향상됨을 확인하였다.

ABSTRACT

Aiming to alleviate data sparsity and cold-start problems of traditional recommender systems, incorporating knowledge graphs (KGs) to supplement auxiliary information has recently gained considerable attention. Via unifying the KG with user-item interactions into a tripartite graph, recent works explore the graph topologies to learn the low-dimensional representations of users and items with rich semantics. However, these real-world tripartite graphs are usually scale-free, the intrinsic hierarchical graph structures of which are underemphasized in existing works, consequently, leading to suboptimal recommendation performance. To address this issue and provide more accurate recommendation, we propose a knowledge-aware recommendation method with the hyperbolic geometry, namely Lorentzian Knowledge-enhanced Graph convolutional networks for Recommendation (LKGR). LKGR facilitates better modeling of scale-free tripartite graphs after the data unification. Specifically, we employ different information propagation strategies in the hyperbolic space to explicitly encode heterogeneous information from historical interactions and KGs. Our proposed knowledge-aware attention mechanism enables the model to automatically measure the information contribution, producing the coherent information aggregation in the hyperbolic space. Extensive experiments on three real-world benchmarks demonstrate that LKGR outperforms state-of-the-art methods by 3.6-15.3% of Recall@20 on Top-K recommendation.

연구 동기 및 목표

• 사용자-아이템 상호작용과 지식 그래프가 형성하는 계층적이고 스케일프리인 삼중 그래프를 유사도 공간에서 모델링하는 데서 기인하는 한계를 해결하기 위해.
• 실세계 추천 데이터의 본질적인 트리 형태의 구조를 포착할 때 발생하는 높은 왜곡으로 인한 비최적의 표현 학습 문제를 해결하기 위해.
• 쌍곡기하학을 활용해 통합된 사용자-아이템-KG 그래프의 계층적 위상 구조를 명시적으로 모델링함으로써 추천 성능을 향상시키기 위해.
• 쌍곡기하 공간에서 정보 기여도를 적응적으로 측정할 수 있는 지식 인식 주의 메커니즘을 개발하여 일관된 표현 학습을 실현하기 위해.
• 실세계 데이터셋에서의 광범위한 실험 평가를 통해 쌍곡기하학이 유클리드 공간에 비해 지식 인식 추천에서 우월함을 입증하기 위해.

제안 방법

• 노드 표현(사용자, 아이템, 엔티티)을 쌍곡기하 공간 내 특수 리만 다양체인 로렌츠 다양체에 투영함으로써, 기하학적 체적 증가의 지수적 성질을 활용하고 계층적 그래프 구조를 더 잘 모델링하기 위해.
• 쌍곡기하 공간 내에서 이웃 노드의 정보성에 기반해 중요도를 동적으로 가중치를 매기는 지식 인식 주의 메커니즘을 설계함.
• 정보 전파를 두 개의 스트림으로 분리: 하나는 사용자-아이템 상호작용 신호를 위한 것이고, 다른 하나는 지식 그래프의 관계 신호를 위한 것으로, 이질적 정보 융합을 가능하게 함.
• 메시지 전달 과정에서 기하학적 성질을 유지하기 위해 리emann 최적화를 사용하여 쌍곡기하 공간에서 다층 그래프 컨볼루션 연산을 수행함.
• 모델의 엔드 투 엔드 학습을 위해 리emann 확률적 경사 하강법(RSGD)을 사용하여 기하학적 다양체 상에서 기울기가 적절히 역전파되도록 보장함.
• 사용자-아이템 상호작용과 지식 그래프 정보를 통합된 삼중 그래프로 통합함으로써, 구조적 계층성을 유지하면서 공동 표현 학습을 가능하게 함.

실험 결과

연구 질문

• RQ1 유사도 공간에 비해 쌍곡기하학이 통합된 사용자-아이템 상호작용 및 지식 그래프 데이터의 계층적이고 스케일프리 구조를 더 잘 모델링할 수 있는가?
• RQ2 쌍곡기하 공간에서 제안된 지식 인식 주의 메커니즘이 추천 작업을 위한 표현 학습을 어떻게 향상시키는가?
• RQ3 쌍곡기하 공간에서 이질적 신호(사용자-아이템 상호작용 대비 지식 그래프 관계)를 별도로 모델링할 경우, 추천 성능 향상에 어느 정도 기여하는가?
• RQ4 로렌츠 모델을 사용함으로써 스케일프리 그래프에서 임베딩 왜곡이 감소하여 후속 추천 정확도가 향상되는가?
• RQ5 정보 전파의 깊이(레이어 수)가 쌍곡기하 추천 프레임워크에서 성능에 미치는 영향은 어떠한가?

주요 결과

• LKGR는 MovieLens-20M, Meituan-Dianping, Book-Crossing 세 가지 실세계 벤치마크에서 최신 기술 대비 Recall@20가 3.6–15.3% 향상됨.
• 모델은 다양한 데이터셋에서 Top-K 추천 및 랭킹 기반 메트릭 모두에서 기존 최신 기술을 능가하며, 일관된 성능 향상을 입증함.
• 제거 실험을 통해 지식 인식 주의 메커니즘과 쌍곡기하 공간 모델링이 성능 향상에 크게 기여함을 확인함.
• 정보 전파의 최적 레이어 수(L)는 데이터셋에 따라 달라지며, L=2 또는 L=3일 때 최고 성능를 기록함으로써, 적응형 깊이가 핵심임을 시사함.
• 쌍곡기하 공간 모델링이 스케일프리 그래프에서 왜곡을 감소시킴을 입증함. 이는 유클리드 기반 모델 대비 계층적 노드 관계를 더 잘 포착할 수 있음으로써 확인됨.
• 쌍곡기하 공간에서 제어되고 깊이 적응형 메시지 전파를 통해 고차원 구조적 정보를 유지함으로써 과도한 스무딩을 효과적으로 완화함.