[논문 리뷰] Contextualized Graph Attention Network for Recommendation with Item Knowledge Graph

Susen Yang, Yong Liu외 4명|arXiv (Cornell University)|2020. 04. 24.

Advanced Graph Neural Networks참고 문헌 18인용 수 4

한 줄 요약

이 논문은 사용자별로 설정된 그래프 어텐션 메커니즘과 비편향 랜덤 워크 샘플링을 활용하여 항목 지식 그래프 내의 국소적 및 비국소적 그래프 컨텍스트를 명시적으로 모델링하는 새로운 추천 프레임워크인 Contextualized Graph Attention Network (CGAT)을 제안한다. CGAT는 고차원 의존성을 포착하기 위해 비편향 랜덤 워크 샘플링과 GRU를 활용하며, 사용자 선호도와 지식 그래프 의미론을 효과적으로 통합함으로써 실세계 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Graph neural networks (GNN) have recently been applied to exploit knowledge graph (KG) for recommendation. Existing GNN-based methods explicitly model the dependency between an entity and its local graph context in KG (i.e., the set of its first-order neighbors), but may not be effective in capturing its non-local graph context (i.e., the set of most related high-order neighbors). In this paper, we propose a novel recommendation framework, named Contextualized Graph Attention Network (CGAT), which can explicitly exploit both local and non-local graph context information of an entity in KG. Specifically, CGAT captures the local context information by a user-specific graph attention mechanism, considering a user's personalized preferences on entities. Moreover, CGAT employs a biased random walk sampling process to extract the non-local context of an entity, and utilizes a Recurrent Neural Network (RNN) to model the dependency between the entity and its non-local contextual entities. To capture the user's personalized preferences on items, an item-specific attention mechanism is also developed to model the dependency between a target item and the contextual items extracted from the user's historical behaviors. Experimental results on real datasets demonstrate the effectiveness of CGAT, compared with state-of-the-art KG-based recommendation methods.

연구 동기 및 목표

• 기존의 GNN 기반 추천 방법이 지식 그래프 내 엔티티에 대한 사용자별 선호도를 모델링하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 일반적인 GNN이 간과하는 경향이 있는 지식 그래프 내 비국소적 그래프 컨텍스트(고차원 이웃)를 명시적으로 캡처하기 위해.
• 사용자 이력 상호작용 데이터를 지식 그래프 컨텍스트와 통합하여 개인화된 추천을 향상시키기 위해.
• 국소적 컨텍스트, 비국소적 컨텍스트, 사용자-항목 상호작용 패턴을 동시에 모델링하는 통합 프레임워크를 개발하기 위해.
• 실세계 추천 데이터셋을 대상으로 광범위한 실험을 통해 제안된 모델의 효과성을 검증하기 위해.

제안 방법

• CGAT는 사용자별 그래프 어텐션 메커니즘을 사용하여 지식 그래프 내 제1차 이웃으로부터 국소적 컨텍스트 정보를 집계함으로써 사용자 선호도를 개인화된 방식으로 포착한다.
• 비편향 랜덤 워크 샘플링 프로세스를 적용하여 전체 지식 그래프에서 비국소적 컨텍스트 엔티티를 추출하며, 대상 항목과 관련된 고차원 이웃에 집중한다.
• 게이트드 순환 단위(Gated Recurrent Unit, GRU)는 대상 엔티티와 비국소적으로 샘플된 컨텍스트 엔티티 간의 순차적 의존성을 모델링하여 장거리 의존성을 포착한다.
• 사용자 이력 상호작용 항목 기반으로 사용자 선호도를 모델링하기 위해 항목별 어텐션 메커니즘이 도입되어 개인화를 향상시킨다.
• 다중 작업 학습 목표와 정규화 항을 포함하여 사용자 임베딩, 항목 임베딩, 지식 그래프 구조를 동시에 최적화한다.
• 최종적으로, 학습 가능한 어텐션 게이트를 사용하여 국소적 및 비국소적 임베딩을 결합하여 항목의 최종 컨텍스트 표현을 생성한다.

실험 결과

연구 질문

• RQ1 지식 그래프 내 엔티티에 대한 사용자별 선호도를 모델링하면 추천 성능이 향상되는가?
• RQ2 지식 그래프 내 비국소적(고차원) 이웃 정보는 얼마나 효과적으로 캡처되고 활용될 수 있는가?
• RQ3 사용자 이력 상호작용 컨텍스트를 지식 그래프 컨텍스트와 통합하면 추천 정확도가 향상되는가?
• RQ4 지식 그래프 기반 추천에서 국소적 컨텍스트와 비국소적 컨텍스트 중 어느 것이 더 기여하는가?
• RQ5 워크 길이와 샘플링 크기와 같은 핵심 하이퍼파라미터가 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• CGAT는 세 개의 실세계 데이터셋에서 최신 기술 수준(SOTA)의 KG 기반 추천 방법을 초월하며, HR@20 점수에서 최고 성능을 기록했다.
• 절단 실험을 통해 국소적 및 비국소적 컨텍스트 모두가 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 발생했다.
• ML 및 BC 데이터셋에서 CGAT w/o L(국소적 컨텍스트 없음)은 CGAT w/o G(비국소적 컨텍스트 없음)를 약간 앞서는 성능을 보였으며, 이는 특정 경우에 비국소적 컨텍스트가 더 정보가 많을 수 있음을 시사한다.
• 사용자별 그래프 어텐션 메커니즘(CGAT w/o UA)은 비개인화된 어텐션 기반 베이스라인 대비 성능 향상이著명하여 사용자 선호도를 모델링하는 데의 효과성을 입증한다.
• 최적의 하이퍼파라미터로는 이웃 샘플링 크기 S=4, 이력 항목 수 N=16, 경로 샘플링 수 M=15, 경로 길이 L=4–12로 도출되었으며, λ₁=10⁻⁴일 때 성능이 가장 우수했다.
• 지식 그래프 구조 일致성 강화를 위한 정규화 항(λ₁)은 성능 향상에 기여하였으며, 이는 모델 내에서 구조적 인도적 편향의 가치를 확인한다.