[논문 리뷰] SVD-GCN: A Simplified Graph Convolution Paradigm for Recommendation

Shaowen Peng, Kazunari Sugiyama외 1명|arXiv (Cornell University)|2022. 08. 26.

Recommender Systems and Techniques인용 수 7

한 줄 요약

SVD-GCN는 이웃 집합화를 단순화된 특이값 분해(SVD)로 대체하여 추천을 위한 간소화된 그래프 컨볼루션 파라다임을 제안한다. 이는 최대 K개의 특이벡터만을 고려함으로써 높은 효율성과 과도한 스무딩을 완화한다. 이는 LightGCN 대비 100배 이상의 속도 향상과 MF 대비 10배의 속도 향상을 달성하며, 세 개의 실세계 데이터셋에서 최신 기법들을 초월하는 성능을 보인다.

ABSTRACT

With the tremendous success of Graph Convolutional Networks (GCNs), they have been widely applied to recommender systems and have shown promising performance. However, most GCN-based methods rigorously stick to a common GCN learning paradigm and suffer from two limitations: (1) the limited scalability due to the high computational cost and slow training convergence; (2) the notorious over-smoothing issue which reduces performance as stacking graph convolution layers. We argue that the above limitations are due to the lack of a deep understanding of GCN-based methods. To this end, we first investigate what design makes GCN effective for recommendation. By simplifying LightGCN, we show the close connection between GCN-based and low-rank methods such as Singular Value Decomposition (SVD) and Matrix Factorization (MF), where stacking graph convolution layers is to learn a low-rank representation by emphasizing (suppressing) components with larger (smaller) singular values. Based on this observation, we replace the core design of GCN-based methods with a flexible truncated SVD and propose a simplified GCN learning paradigm dubbed SVD-GCN, which only exploits $K$-largest singular vectors for recommendation. To alleviate the over-smoothing issue, we propose a renormalization trick to adjust the singular value gap, resulting in significant improvement. Extensive experiments on three real-world datasets show that our proposed SVD-GCN not only significantly outperforms state-of-the-arts but also achieves over 100x and 10x speedups over LightGCN and MF, respectively.

연구 동기 및 목표

• GCN 기반 추천 시스템에서의 확장성 및 과도한 스무딩 문제를 해결하기 위해.
• LightGCN를 분석함으로써 GCN이 추천에 효과적인 근본적인 메커니즘을 밝혀내기 위해.
• 반복적 메시지 전달을 피하는 간소화되고 효율적이며 확장 가능한 GCN 학습 파라다임을 제안하기 위해.
• 모델 파라미터와 학습 비용을 줄이면서도 추천 성능을 유지하거나 향상시키기 위해.
• 저랭크 행렬 분해 원리를 기반으로 한 이론적으로 탄탄한 GCN 기반 방법의 대안을 제공하기 위해.

제안 방법

• GCN 기반 방법의 핵심 설계를 사용자-아이템 상호작용 행렬의 K개 최대 특이벡터만 유지하는 융통성 있는 단순화된 SVD로 대체한다.
• 과도한 스무딩을 방지하고 중요한 협업 신호를 유지하기 위해 특이값 갭을 조정하는 리노멀라이제이션 기법을 도입한다.
• 모델 파rameter를 추가하지 않고도 사용자-사용자 및 아이템-아이템 간 관계를 활용하여 특징 표현을 향상시킨다.
• 이론적 분석을 통해 GCN 레이어를 쌓는 것은 큰 특이값을 강조하는 저랭크 표현을 학습하는 것과 동치임을 보여준다.
• 표준 추천 손실을 사용하여 미니배치 경사하강법으로 엔드 투 엔드로 모델을 학습시킨다.
• SVD를 통해 직접적으로 저랭크 근사치를 계산함으로써 반복적 메시지 전달을 피하는 방법을 채택한다.

실험 결과

연구 질문

• RQ1 GCN 기반 모델이 추천에 효과적인 근본적인 메커니즘은 무엇인가?
• RQ2 성능은 좋지만 GCN 기반 모델이 왜 과도한 스무딩과 낮은 확장성 문제를 겪는가?
• RQ3 GCN의 핵심 메시지 전달 메커니즘을 더 효율적이고 해석 가능한 대안으로 대체할 수 있는가?
• RQ4 오직 가장 큰 특이값들이 추천 성능에 얼마나 기여하는가?
• RQ5 간단한 SVD 기반 접근법이 정확도와 효율성 측면에서 복잡한 GCN 아키텍처를 능가할 수 있는가?

주요 결과

• SVD-GCN은 LightGCN 대비 100배 이상의 속도 향상을 달성하여 학습 효율성이 크게 향상된다.
• 전통적인 행렬 분해(MF) 방법 대비 10배 이상의 속도 향상이 이루어진다.
• 세 개의 실세계 추천 데이터셋에서 SVD-GCN은 최신 기법들을 능가하는 정확도를 확보한다.
• 실험적 분석을 통해 상호작용 행렬의 95% 이상이 잡음이며, 성능 저하 없이 안전하게 제거될 수 있음을 확인했다.
• 리노멀라이제이션 기법은 특이값 갭 조정을 통해 과도한 스무딩을 효과적으로 줄이며, 핵심 협업 신호를 유지한다.
• K개의 최대 특이벡터(=MF 파라미터의 1% 미만)만으로도 최적의 성능을 달성할 수 있어 높은 파라미터 효율성을 입증한다.