[논문 리뷰] Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

Hongwei Wang, Fuzheng Zhang외 5명|arXiv (Cornell University)|2019. 05. 11.

Advanced Graph Neural Networks참고 문헌 36인용 수 25

한 줄 요약

이 논문은 학습 가능한 스코링 함수를 통해 지식 그래프 관계의 가중치를 동적으로 조정함으로써 사용자별로 다른 아이템 임베딩을 학습하는 지식 인식 그래프 신경망 KGNN-LS를 제안한다. 동시에 레이블 스무딩을 통해 간선 가중치를 정규화하여 일반화 성능을 향상시킨다. 이 방법은 네 개의 데이터셋에서 최신 기준 모델들을 능가하며, 상호작용 데이터가 적은 케이스인 쿨스타트 상황에서 특히 뛰어난 성능을 보인다.

ABSTRACT

Knowledge graphs capture structured information and relations between a set of entities or items. As such knowledge graphs represent an attractive source of information that could help improve recommender systems. However, existing approaches in this domain rely on manual feature engineering and do not allow for an end-to-end training. Here we propose Knowledge-aware Graph Neural Networks with Label Smoothness regularization (KGNN-LS) to provide better recommendations. Conceptually, our approach computes user-specific item embeddings by first applying a trainable function that identifies important knowledge graph relationships for a given user. This way we transform the knowledge graph into a user-specific weighted graph and then apply a graph neural network to compute personalized item embeddings. To provide better inductive bias, we rely on label smoothness assumption, which posits that adjacent items in the knowledge graph are likely to have similar user relevance labels/scores. Label smoothness provides regularization over the edge weights and we prove that it is equivalent to a label propagation scheme on a graph. We also develop an efficient implementation that shows strong scalability with respect to the knowledge graph size. Experiments on four datasets show that our method outperforms state of the art baselines. KGNN-LS also achieves strong performance in cold-start scenarios where user-item interactions are sparse.

연구 동기 및 목표

• 구조화된 지식 그래프(KG) 정보를 활용하여 추천 시스템의 쿨스타트 문제를 해결하기 위해.
• 수동적인 특징 공학을 학습 가능한 관계 스코링 함수로 대체함으로써 지식 인식 추천에서 엔드 투 엔드 학습을 가능하게 하기 위해.
• 낮은 데이터 환경에서 일반화 성능을 향상시키기 위해 지식 그래프의 간선 가중치를 레이블 스무딩을 통해 정규화하기 위해.
• 큰 지식 그래프에 대해 효율적으로 스케일링하면서도 높은 추천 정확도를 유지하기 위해.
• 단일의 학습 가능한 GNN 프레임워크 안에서 의미적 아이템 관계와 사용자별 선호도를 통합하기 위해.

제안 방법

• 사용자 선호도에 기반해 지식 그래프 간선의 가중치를 동적으로 할당하는 사용자별 관계 스코링 함수를 학습하여 지식 그래프를 개인화된 가중치 그래프로 변환한다.
• 사용자별로 가중치가 부여된 지식 그래프에 그래프 신경망(GNNs)을 적용하여 주변 정보를 집계하고 아이템 임베딩을 계산한다.
• 레이블 스무딩 정규화를 도입하여 지식 그래프에서 인접한 아이템은 유사한 사용자 관련도 스코어를 가져야 한다는 가정을 바탕으로 간선 가중치에 정규화 효과를 부여한다.
• 레이블 스무딩 제약 조건이 그래프 상에서 레이블 전파 방식과 동치임을 보여주며, 희소 지도 신호에 대한 강건성을 향상시킨다.
• 관계 스코링 함수를 학습하기 위해 떼어내기 손실(leave-one-out loss)을 사용하여 사용자-아이템 상호작용 신호와의 일치를 보장한다.
• 백프로파게이션을 통해 엔드 투 엔드로 모델을 학습함으로써 사용자 선호도, 간선 가중치, 아이템 표현을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 학습 가능한 사용자별 관계 스코링 함수는 지식 인식 추천 시스템에서 개인화된 아이템 표현 학습을 향상시킬 수 있는가?
• RQ2 간선 가중치가 희소한 사용자-아이템 상호작용으로부터 학습될 때, 레이블 스무딩 정규화는 일반화 성능을 어떻게 향상시키는가?
• RQ3 KGNN-LS는 전체 데이터 및 쿨스타트 추천 시나리오에서 기존 최신 기준 모델들을 얼마나 뛰어나게 성능을 높이는가?
• RQ4 지식 그래프 크기가 증가함에 따라 제안된 방법의 확장성은 어떠한가?
• RQ5 레이블 스무딩 통합은 이질적인 지식 그래프에서 더 안정적이고 강건한 간선 가중치 학습을 이끌어내는가?

주요 결과

• KGNN-LS는 훈련 데이터의 20%만을 사용할 때 MovieLens-20M에서 AUC 0.979를 기록하여 RippleNet 및 CKE를 포함한 모든 기준 모델들을 능가한다.
• 쿨스타트 상황에서 훈련 데이터를 20%로 줄였을 때 KGNN-LS의 AUC는 1.8%만 감소하지만, SVD는 8.4%, LibFM은 5.9% 감소한다.
• GNN 레이어 수가 1~2개일 때 모델이 최적의 성능을 내며, 더 깊은 네트워크(L=4)에서는 과도하게 스무딩되어 성능이 붕괴된다.
• MovieLens-20M에서 은닉 차원 d=64일 때 최고의 성능을 보이며 R@10 값은 0.155를 기록하고, d가 64를 초과하면 과적합으로 인해 성능이 저하된다.
• KGNN-LS는 강력한 확장성을 보이며, 지식 그래프 크기가 5배로 증가하더라도 실행 시간이 선형적으로 증가하고, 훈련 효율성 면에서 기준 모델들을 능가한다.
• 레이블 스무딩 정규화는 간선 가중치 학습을 크게 향상시키며, 희소 지도 신호에 대한 강건성과 AUC, R@10의 일관된 향상으로서 그 효과가 입증된다.