[논문 리뷰] GraphSW: a training protocol based on stage-wise training for GNN-based Recommender Model

Chang-You Tai, Meng-Ru Wu외 2명|arXiv (Cornell University)|2019. 08. 13.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

GraphSW는 지식 그래프(KG) 정보를 반복적이고 점진적인 훈련을 통해 단계적으로 통합함으로써 GNN 기반 추천 모델의 성능을 향상시키는 단계별 훈련 프로토콜이다. 각 단계에서 KG의 엔티티 부분집합을 대상으로 훈련하고, 학습된 임베딩을 전이함으로써 성능 향상과 고차수 GNN 모델(예: KGCN)의 수렴 가능성을 높인다. 특히 작은 이웃 샘플링 크기와 증가하는 힙 수(count) 조건에서도 효과적이다.

ABSTRACT

Recently, researchers utilize Knowledge Graph (KG) as side information in recommendation system to address cold start and sparsity issue and improve the recommendation performance. Existing KG-aware recommendation model use the feature of neighboring entities and structural information to update the embedding of currently located entity. Although the fruitful information is beneficial to the following task, the cost of exploring the entire graph is massive and impractical. In order to reduce the computational cost and maintain the pattern of extracting features, KG-aware recommendation model usually utilize fixed-size and random set of neighbors rather than complete information in KG. Nonetheless, there are two critical issues in these approaches: First of all, fixed-size and randomly selected neighbors restrict the view of graph. In addition, as the order of graph feature increases, the growth of parameter dimensionality of the model may lead the training process hard to converge. To solve the aforementioned limitations, we propose GraphSW, a strategy based on stage-wise training framework which would only access to a subset of the entities in KG in every stage. During the following stages, the learned embedding from previous stages is provided to the network in the next stage and the model can learn the information gradually from the KG. We apply stage-wise training on two SOTA recommendation models, RippleNet and Knowledge Graph Convolutional Networks (KGCN). Moreover, we evaluate the performance on six real world datasets, Last.FM 2011, Book-Crossing,movie, LFM-1b 2015, Amazon-book and Yelp 2018. The result of our experiments shows that proposed strategy can help both models to collect more information from the KG and improve the performance. Furthermore, it is observed that GraphSW can assist KGCN to converge effectively in high-order graph feature.

연구 동기 및 목표

• 고차수 GNN 기반 추천 모델에서의 계산 비용 증가와 모델 수렴 불가 문제를 해결한다.
• 고정 크기의 무작위 이웃 샘플링 방식이 KG 인식 모델의 정보 접근 제한과 훈련 안정성 저하를 초래하는 한계를 극복한다.
• 단계별로 체계적으로 KG 정보를 통합함으로써 KGCN과 RippleNet의 성능 향상과 수렴 가능성을 향상시킨다.
• 재샘플링 전략과 단계별 훈련이 다양한 데이터셋에서 모델의 강건성과 확장성 향상에 기여하는지 조사한다.
• 매개변수 폭발과 노이즈 누적 문제를 완화함으로써 더 깊은 GNN 모델의 훈련을 가능하게 한다.

제안 방법

• 지식 그래프에서 엔티티의 부분집합을 각 단계에서 처리하는 단계별 훈련 프레임워크를 도입한다.
• 이전 단계에서 학습된 엔티티 임베딩을 다음 단계로 전이함으로써 점진적인 정보 축적을 가능하게 한다.
• 각 단계에서 고정 크기의 이웃 샘플링을 사용하지만, 단계 간에 샘플링된 이웃를 다양하게 변경하여 다양한 그래프 구조를 탐색한다.
• KGCN과 RippleNet에 이 프rotocol를 적용하여, 다른 힙 수와 이웃 샘플링 크기에서 훈련한다.
• 모델 전체 파라미터가 아닌 KG 표현만을 단계 간 전이함으로써 훈련 안정성과 성능 유지에 기여한다.
• 이웃 샘플링 크기와 힙 수와 같은 하이퍼파라미터를 최적화하여 다양한 데이터셋에서의 성능 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 제한된 KG 정보를 사용할 때 단계별 훈련 프로토콜이 GNN 기반 추천 모델의 성능 향상에 기여할 수 있는가?
• RQ2 단계별 훈련을 통한 점진적 정보 집합이 KGCN과 RippleNet과 같은 모델이 고차수 힙 수에서 더 나은 수렴을 이룰 수 있도록 도와주는가?
• RQ3 GraphSW를 사용할 경우 이웃 샘플링 크기가 표준 고정 샘플링 전략 대비 모델 성능에 미치는 영향은 어떠한가?
• RQ4 GraphSW는 고차수 그래프 특성에서 발생하는 매개변수 차원 증가와 노이즈 누적으로 인해 KGCN에서 발생하는 수렴 불가 문제를 완화할 수 있는가?
• RQ5 단계 간에 전용 KG 임베딩만을 전이할 경우, 전체 모델 파라미터를 전이하는 것보다 모델 성능 유지에 더 효과적인가?

주요 결과

• GraphSW는 KGCN과 RippleNet 양쪽 모두 6개 데이터셋에서 AUC 성능을 크게 향상시켰으며, 특히 hop 4에서 Last.FM 2011에서 평균 34.8% 향상된 바가 있다.
• KGCN는 GraphSW를 사용할 경우 작은 이웃 샘플링 크기(예: 16)에서도 최고 성능를 기록했으며, 제한된 이웃 접근을 점진적으로 활용함으로써 더 나은 특징 학습이 가능함을 시사한다.
• KGCN의 경우 GraphSW를 통해 힙 수 4에서도 안정적인 훈련과 성능 향상을 달성했으며, 표준 훈련 방식은 매개변수 폭발과 노이즈로 인해 수렴하지 못하는 반면에 효과적이다.
• Yelp 2018 데이터셋에서 KGCN의 AUC는 표준 방식에서 0.8720에서 GraphSW 적용 시 0.9038로 향상되어 대규모 KG 환경에서도 효과적임을 입증했다.
• 단계 간에 KG 표현만을 전이할 경우 전체 모델 파라미터를 전이하는 것보다 더 높은 성능 향상을 기록했으며, 학습된 KG 임베딩을 유지하는 것이 중요함을 확인했다.
• RippleNet은 더 큰 이웃 샘플링 크기에서 GraphSW의 효과를 가장 크게 보였고, KGCN는 더 작은 샘플링 크기에서 최고 성능를 기록하여 특징 집합 방식의 아키텍처적 차이를 반영한다.