[논문 리뷰] LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

Xiangnan He, Kuan Deng외 4명|arXiv (Cornell University)|2020. 02. 06.

Recommender Systems and Techniques참고 문헌 44인용 수 413

한 줄 요약

LightGCN은 협업 필터링을 위한 GCN을 특징 변환과 비선형 활성화 제거로 간소화하고, 이웃 집계와 층별 임베딩 혼합만을 사용하여 NGCF보다 상당한 이점을 얻는다.

ABSTRACT

Graph Convolution Network (GCN) has become new state-of-the-art for collaborative filtering. Nevertheless, the reasons of its effectiveness for recommendation are not well understood. Existing work that adapts GCN to recommendation lacks thorough ablation analyses on GCN, which is originally designed for graph classification tasks and equipped with many neural network operations. However, we empirically find that the two most common designs in GCNs -- feature transformation and nonlinear activation -- contribute little to the performance of collaborative filtering. Even worse, including them adds to the difficulty of training and degrades recommendation performance. In this work, we aim to simplify the design of GCN to make it more concise and appropriate for recommendation. We propose a new model named LightGCN, including only the most essential component in GCN -- neighborhood aggregation -- for collaborative filtering. Specifically, LightGCN learns user and item embeddings by linearly propagating them on the user-item interaction graph, and uses the weighted sum of the embeddings learned at all layers as the final embedding. Such simple, linear, and neat model is much easier to implement and train, exhibiting substantial improvements (about 16.0\% relative improvement on average) over Neural Graph Collaborative Filtering (NGCF) -- a state-of-the-art GCN-based recommender model -- under exactly the same experimental setting. Further analyses are provided towards the rationality of the simple LightGCN from both analytical and empirical perspectives.

연구 동기 및 목표

• 일반적인 GCN 구성요소들(특징 변환과 비선형 활성화)이 협업 필터링에 있어 제한된 이점을 제공함을 입증한다.
• 사용자/아이템 임베딩에 대한 이웃 집계에 집중한 간소화된 그래프 컨볼루션 접근법을 제안한다.
• 동일한 실험 설정에서 LightGCN이 NGCF보다 경험적 이점을 보임을 보여준다.
• 추천 작업에서 선형적이고 간결한 설계가 왜 잘 작동하는지 분석한다.

제안 방법

• 사용자와 아이템의 ID 임베딩을 사용하고 간단하고 대칭 정규화 기반의 집계를 이용하여 사용자-아이템 상호작용 그래프에서 전파한다.
• 모든 전파 층의 임베딩을 균일한 합 또는 간단한 가중합으로 결합하여 최종 사용자/아이템 표현을 형성한다.
• 최종 사용자 및 아이템 임베딩의 내적(inner product)을 통해 상호작용을 예측한다.
• 초기 층 임베딩만 BPR 손실과 Adam 최적화로 학습한다.
• E^(k+1) = D^(-1/2) A D^(-1/2) E^(k) 및 최종 E를 층 임베딩의 합으로 나타내는 행렬 형식을 제공한다.

실험 결과

연구 질문

• RQ1 GCN을 사용할 때 특징 변환과 비선형 활성화가 CF의 성능을 향상시키는가?
• RQ2 이웃 집계만을 보존하는 더 가벼운 모델이 NGCF와 같은 무거운 GCN 기반 CF 모델보다 성능을 낼 수 있는가?
• RQ3 표준 데이터셋에서 다층 LightGCN은 단층 MF 및 NGCF와 어떻게 비교되는가?
• RQ4 CF에서 장거리 전파를 위한 과도한 평활화를 완화하는 데 있어 층 결합의 역할은 무엇인가?
• RQ5 LightGCN이 경쟁력 있는 성능을 제공하면서도 학습 및 분석이 더 용이한가?

주요 결과

• LightGCN은 Gowalla, Yelp2018, Amazon-Book 데이터셋에서 recall@20 및 ndcg@20 기준으로 NGCF를 지속적으로 능가한다.
• 특징 변환과 비선형 활성화를 제거하는 것이 NGCF에 이익이 되며, 두 가지를 모두 제거했을 때 추가 이득이 있다(NGCF-fn이 NGCF를 능가).
• 레이어를 1에서 3으로 늘리면 성능이 개선되지만 수익이 감소하는 흐름; 3층이 종종 강한 결과를 제공한다.
• 모든 층의 임베딩을 합치는 층 결합은 자기 연결(self-connection) 효과를 포착하고 추가 복잡성 없이 표현력를 향상시킨다.
• LightGCN은 NGCF보다 학습 손실이 낮고 일반화가 더 잘되며, 여러 데이터셋에서 상대적 개선이 크다(예: recall/ndcg에서 최대 약 16-17% 수준).
• 모델의 선형적이고 간결한 설계는 해석 가능성과 학습 용이성을 제공하면서도 실험 설정에서 최첨단 베이스라인을 능가한다.