[논문 리뷰] UltraGCN: Ultra Simplification of Graph Convolutional Networks for Recommendation

Kelong Mao, Jieming Zhu외 4명|arXiv (Cornell University)|2021. 10. 28.

Recommender Systems and Techniques참고 문헌 35인용 수 34

한 줄 요약

UltraGCN은 협업 필터링에서 명시적 다층 메시지 전달을 건너뛰고 제약 기반 손실로 무한층 수렴을 근사하여, 상당한 학습 속도 증가와 함께 강력한 추천 성능을 얻는다.

ABSTRACT

With the recent success of graph convolutional networks (GCNs), they have been widely applied for recommendation, and achieved impressive performance gains. The core of GCNs lies in its message passing mechanism to aggregate neighborhood information. However, we observed that message passing largely slows down the convergence of GCNs during training, especially for large-scale recommender systems, which hinders their wide adoption. LightGCN makes an early attempt to simplify GCNs for collaborative filtering by omitting feature transformations and nonlinear activations. In this paper, we take one step further to propose an ultra-simplified formulation of GCNs (dubbed UltraGCN), which skips infinite layers of message passing for efficient recommendation. Instead of explicit message passing, UltraGCN resorts to directly approximate the limit of infinite-layer graph convolutions via a constraint loss. Meanwhile, UltraGCN allows for more appropriate edge weight assignments and flexible adjustment of the relative importances among different types of relationships. This finally yields a simple yet effective UltraGCN model, which is easy to implement and efficient to train. Experimental results on four benchmark datasets show that UltraGCN not only outperforms the state-of-the-art GCN models but also achieves more than 10x speedup over LightGCN. Our source code will be available at https://reczoo.github.io/UltraGCN.

연구 동기 및 목표

• 대규모 recommender 시스템에서 더 효율적인 GCN 기반 협업 필터링의 필요성을 동기 부여한다.
• LightGCN 및 관련 모델에서 명시적 메시지 전달의 한계를 식별한다.
• 제약 손실을 통해 무한층 그래프 합성곱을 근사하기 위한 UltraGCN을 제안한다.
• 학습 효율성을 유지하면서 서로 다른 관계 유형의 가중치를 유연하게 조정할 수 있도록 한다.
• 표준 벤치마크 데이터셋에서 우수한 정확도와 효율성을 입증한다.

제안 방법

• 무한층 수렴 상태를 제약 손실로 근사하여 명시적 다층 메시지 전달을 건너뛰는 초단순화된 GCN인 UltraGCN을 공식화한다.
• 수렴 표현 e_u = sum_{i in N(u)} beta_{u,i} e_i 를 도출하고 시그모이드 기반 최적화를 갖는 제약 손실 L_C를 통해 코사인 유사성을 최대화한다.
• 과도한 스무딩을 완화하기 위해 음수 샘플링을 도입하여 양-양 및 양-음의 쌍이 포함된 L_C를 얻는다.
• 항목 간 그래프 제약 L_I를 추가하고 아이템당 상위-K 개의 유사 아이템을 선택하며 아이템-아이템 관계를 포착하기 위해 쌍에 omega_{i,j}로 가중치를 둔다.
• 손실들을 L = L_O + lambda L_C + gamma L_I로 결합하여 사용자-아이템 및 아이템-아이템 정보의 유연한 균형을 가능하게 한다.
• 모델 복잡성 및 UltraGCN이 효율성 및 매개변수 수 면에서 MF와 LightGCN과 비교되는 방식을 논의한다.

실험 결과

연구 질문

• RQ1 협업 필터링 지향 GCN에서 명시적 메시지 전달을 무한층 수렴 상태를 근사하는 제약 기반 학습 목표로 대체할 수 있는가?
• RQ2 서로 다른 관계 유형(사용자-아이템, 아이템-아이템, 잠재적으로 사용자-사용자)을 추천 성능과 학습 효율성을 최적화하기 위해 어떻게 가중치를 두어야 하는가?
• RQ3 선택적으로 가중된 아이템-아이템 제약을 도입하면 확장성을 해치지 않고 성능이 향상되는가?
• RQ4 표준 벤치마크에서 UltraGCN을 채택할 때 정확도와 학습 속도의 실증적 이득은 무엇인가?

주요 결과

• UltraGCN은 네 가지 데이터셋에서 최첨단 또는 경쟁력 있는 성능을 달성하고, 가장 강력한 GCN 베이스라인(DGCF 등)을 상당한 차이로 앞지릅니다(예: Amazon-Book에서 Recall@20 최대 61.4%, NDCG@20 최대 71.6%로 DGCF 대비 높음).
• UltraGCN Base 및 아이템-아이템 학습을 포함한 UltraGCN은 항상 베이스라인보다 개선되며 제약 기반 접근 방식과 선택적 아이템-아이템 학습의 이점을 보여준다.
• UltraGCN은 학습 효율성을 크게 제공하며 LightGCN 대비 최대 약 14배의 속도 증가와 학습 에포크 및 시간의 큰 감소를 보여준다(예: 수렴에 75 에포크, Amazon-Book에서 약 45분 소요).
• 모델은 최적화를 위해 통합된 BCE 손실 프레임워크를 사용하고 일반적인 하이퍼파라미터(K, R, 임베딩 크기)를 고려할 때 MF와 비슷한 복잡도를 보여 우수한 확장성을 가진다.
• 엣지 가중치와 제약 계수(beta 및 omega)는 CF 작업에서 사용자-아이템 및 아이템-아이템 관계를 해석 가능하고 보다 합리적으로 표현해준다.