[논문 리뷰] Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach

Lei Chen, Le Wu외 3명|arXiv (Cornell University)|2020. 01. 28.

Recommender Systems and Techniques참고 문헌 34인용 수 13

한 줄 요약

이 논문은 비선형 활성화 함수를 제거하고 깊은 GCN에서의 과도한 스무딩 문제를 완화하기 위해 잔차 학습을 도입한 선형 잔차 그래프 컨volution 네트워크(LR-GCCF)를 제안한다. 이 모델은 더 빠른 훈련 속도와 더 나은 확장성으로 대규모 희소 사용자-아이템 그래프에서 뛰어난 추천 성능을 달성하며, Amazon Books 및 Gowalla 데이터셋에서 기존 GCN 기반 방법들을 능가한다.

ABSTRACT

Graph Convolutional Networks (GCNs) are state-of-the-art graph based representation learning models by iteratively stacking multiple layers of convolution aggregation operations and non-linear activation operations. Recently, in Collaborative Filtering (CF) based Recommender Systems (RS), by treating the user-item interaction behavior as a bipartite graph, some researchers model higher-layer collaborative signals with GCNs. These GCN based recommender models show superior performance compared to traditional works. However, these models suffer from training difficulty with non-linear activations for large user-item graphs. Besides, most GCN based models could not model deeper layers due to the over smoothing effect with the graph convolution operation. In this paper, we revisit GCN based CF models from two aspects. First, we empirically show that removing non-linearities would enhance recommendation performance, which is consistent with the theories in simple graph convolutional networks. Second, we propose a residual network structure that is specifically designed for CF with user-item interaction modeling, which alleviates the over smoothing problem in graph convolution aggregation operation with sparse user-item interaction data. The proposed model is a linear model and it is easy to train, scale to large datasets, and yield better efficiency and effectiveness on two real datasets. We publish the source code at https://github.com/newlei/LRGCCF.

연구 동기 및 목표

• 깊은 GCN 기반 협업 필터링 모델에서의 훈련 어려움과 과도한 스무딩 문제를 해결하기 위해.
• GCN 기반 추천 시스템에서 비선형 활성화 함수가 필수적인지 조사하기 위해.
• 사용자 고유성을 유지하면서 고차원 협업 신호를 모델링할 수 있는 잔차 학습 메커니즘을 설계하기 위해.
• 대규모 추천 시스템을 위한 확장성 있고 효율적이며 효과적인 선형 GCN 모델을 개발하기 위해.

제안 방법

• 비선형 활성화 함수를 선형 임베딩 전파로 대체하여 복잡성을 줄이고 훈련 효율성을 향상시키는 선형 그래프 컨volution 네트워크(L-GCCF)를 제안한다.
• 각 레이어에서 사용자-아이템 선호도 차이를 명시적으로 모델링하여 과도한 스무딩을 완화하는 잔차 선호도 학습 모듈을 도입한다.
• ResNet에 영감을 받은 잔차 연결 구조를 사용하여, 각 레이어가 이전 레이어의 표현에서 현재 임베딩의 잔차를 학습한다.
• 사용자-아이템 이분 그래프에서 K-호프 이웃을 기반으로 반복적인 근접성 집합을 수행하여 고차원 협업 신호를 캡처한다.
• 비선형성을 제거한 선형 변환을 통해 임베딩 전파를 수행하여 최적화 과정을 단순화한다.
• 선형 전파와 잔차 학습을 결합하여 사용자 고유성을 함께 유지하고 깊은 협업 패턴을 모델링한다.

실험 결과

연구 질문

• RQ1 GCN 기반 협업 필터링에서 비선형 활성화 함수를 제거하면 추천 성능과 훈련 안정성이 향상되는가?
• RQ2 잔차 학습 메커니즘이 희소 사용자-아이템 상호작용 그래프에서 깊은 GCN의 과도한 스무딩 문제를 효과적으로 완화할 수 있는가?
• RQ3 선형 전파와 잔차 학습을 조합했을 때, 그래프 컨볼루션 레이어의 깊이가 성능에 어떤 영향을 미치는가?
• RQ4 대규모 추천 시스템에서 비선형 GCN 대비 선형 GCN 모델이 더 높은 효율성과 확장성 달성 가능성이 있는가?

주요 결과

• GCN 기반 CF 모델에서 비선형 활성화 함수를 제거하면 추천 성능 향상과 더 빠른 훈련이 이루어지며, 단순화된 GCN에서 이론적으로 예측된 결과와 일치한다.
• 제안된 LR-GCCF 모델은 Amazon Books 및 Gowalla 데이터셋에서 최신 기준 성능을 달성하여 NGCF, PinSage 및 기타 GCN 기반 기준 모델을 모두 능가한다.
• Amazon Books에서 K=4일 때 HR@20는 0.0341, NDCG@20는 0.0258을 기록하여 테스트된 모든 모델 중 최고 성능을 달성한다.
• Gowalla에서 최적 성능은 K=3에서 달성되었으며, HR@20는 0.1518, NDCG@20는 0.1259를 기록한다.
• Amazon Books에서 K=4일 때 LR-GCCF는 약 20초의 에포크 훈련 시간을 기록하여, K=2에서 동작하는 PinSage(38초) 및 NGCF(38초)보다 빠르게 훈련된다.
• LR-GCCF의 사용자 임베딩 간余弦 유사도는 비잔차 버전(L-GCCF)보다 더 높은 분산을 보이며, 이는 잔차 학습이 과도한 스무딩을 감소시키고 사용자 고유성을 유지함을 경험적으로 검증한다.