[논문 리뷰] Deoscillated Graph Collaborative Filtering

Zhiwei Liu, Lin Meng외 3명|arXiv (Cornell University)|2020. 11. 04.

Recommender Systems and Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 다층 그래프 공동 필터링에서 발생하는 세 가지 핵심 문제인 이분 그래프 구조로 인한 진동, 변동하는 노드 국소성, 고정된 전파 패턴을 해결하기 위해 Deoscillated Adaptive Graph Collaborative Filtering (DGCF)를 제안한다. DGCF는 정보 전파를 탈진동화하는 Cross-Hop Propagation (CHP) 레이어와 노드 밀도에 따라 전파를 동적으로 조정하는 Locality-Adaptive (LA) 레이어를 도입하여 계층별 적응형 집계를 가능하게 한다. 광범위한 실험을 통해 DGCF는 다양한 데이터셋과 깊이 설정에서 최신 기술을 초월하며, 더 뛰어난 강건성과 과도한 스무딩을 감소시킨다.

ABSTRACT

Collaborative Filtering (CF) signals are crucial for a Recommender System~(RS) model to learn user and item embeddings. High-order information can alleviate the cold-start issue of CF-based methods, which is modelled through propagating the information over the user-item bipartite graph. Recent Graph Neural Networks~(GNNs) propose to stack multiple aggregation layers to propagate high-order signals. However, the oscillation problem, varying locality of bipartite graph, and the fix propagation pattern spoil the ability of multi-layer structure to propagate information. The oscillation problem results from the bipartite structure, as the information from users only propagates to items. Besides oscillation problem, varying locality suggests the density of nodes should be considered in the propagation process. Moreover, the layer-fixed propagation pattern introduces redundant information between layers. In order to tackle these problems, we propose a new RS model, named as extbf{D}eoscillated extbf{G}raph extbf{C}ollaborative extbf{F}iltering~(DGCF). We introduce cross-hop propagation layers in it to break the bipartite propagating structure, thus resolving the oscillation problem. Additionally, we design innovative locality-adaptive layers which adaptively propagate information. Stacking multiple cross-hop propagation layers and locality layers constitutes the DGCF model, which models high-order CF signals adaptively to the locality of nodes and layers. Extensive experiments on real-world datasets show the effectiveness of DGCF. Detailed analyses indicate that DGCF solves oscillation problem, adaptively learns local factor, and has layer-wise propagation pattern. Our code is available online at https://github.com/JimLiu96/DeosciRec.

연구 동기 및 목표

• 사용자-아이템 이분 그래프에 적용된 다층 GNN에서 진동 문제를 공식적으로 정의하고 분석하는 것.
• 낮은 차수를 가진 노드가 정보 전파가 부족해지는 문제를 해결하기 위해 이분 그래프에서 변동하는 노드 국소성을 다루는 것.
• 기존 GNN에서 고정된 전파 패턴으로 인해 발생하는 정보 전파의 부과적이고 비효율적인 흐름을 해결하는 것.
• 고차원 공동 필터링 신호를 유지하면서 과도한 스무딩과 콜드스터트 문제를 완화하는 깊이 있는 적응형 GNN 프레임워크를 설계하는 것.

제안 방법

• 직접 연결된 이웃 외에도 크로스호프 이웃(예: 사용자가 아이템을 통해 다른 사용자로부터 정보를 집계함)으로부터 정보를 집계하는 Cross-Hop Propagation (CHP) 레이어를 제안하여 이분 구조로 인한 진동을 차단한다.
• 각 노드별로 영향력 요소 α를 학습하는 Locality-Adaptive (LA) 레이어를 도입하여 국소 그래프 밀도에 따라 정보 전파 범위를 제어한다.
• CHP 및 LA 레이어를 다중으로 스택하여 DGCF를 구성하며, 각 계층에 맞는 가중치를 학습시켜 동적이고 계층별 전파 패턴을 가능하게 한다.
• 정규화된 라플라시안 행렬과 함께 학습 가능한 影향력 요소를 결합하여 전파 행렬을 정의함으로써 희소 및 고밀도 영역을 균형 있게 조절하는 적응형 집계를 가능하게 한다.
• CHP 및 LA 레이어의 엔드 투 엔드 학습을 지원하는 미분 가능한 학습 절차를 사용하여 비미분 가능한 샘플링 전략의 필요성을 제거한다.
• 사용자 및 아이템 임베딩 학습에 모델을 적용하며, 사용자-아이템 이분 그래프를 따라 공유되는 공동 필터링 신호를 전파한다.

실험 결과

연구 질문

• RQ1 이분 그래프에서 다층 GNN에 진동 문제가 존재하는가? 그리고 그 이론적 한계는 무엇인가?
• RQ2 사용자-아이템 그래프에서 변동하는 노드 국소성이 정보 전파에 미치는 영향은 무엇이며, 이를 적응적으로 보완할 수 있는가?
• RQ3 계층별 적응형 전파 패턴은 추천을 위한 깊은 GNN에서 모델 성능 향상과 과도한 스무딩 감소에 기여하는가?
• RQ4 기존 GNN 기반 추천 시스템 모델에 비해 DGCF는 진동 문제를 어느 정도 완화하는가?

주요 결과

• DGCF는 ML-1M, Yelp, Amazon, Last.FM 네 가지 실세계 데이터셋에서 최신 기술을 초월하는 성능을 달성하며, NGCF, LightGCN, SGL과 같은 기존 모델을 능가한다.
• 제거 실험을 통해 CHP 및 LA 구성 요소가 모두 필수적임을 확인하였다: CHP만 포함된 DGCF-chp와 LA만 포함된 DGCF-la는 기준 모델 대비 성능 향상이 뚜렷하다.
• DGCF는 깊이 있는 아키텍처(최대 16층)에서도 안정적인 성능을 유지하는 반면, LightGCN 및 NGCF는 과도한 스무딩과 성능 저하를 겪는 것으로 나타나 DGCF의 깊이에 대한 강건성을 입증한다.
• 학습된 영향력 요소 α와 노드 차수 밀도 간 상관관계는 높은 편이며(사용자 ρ = 0.578, 아이템 ρ = 0.835), 이는 LA 레이어가 국소 그래프 구조에 따라 전파를 적절히 균형 조절함을 확인한다.
• 전파 패턴의 시각화 결과 DGCF의 집계 패턴이 계층을 거치며 변화함을 확인: 초기 계층에서는 넓은 범위의 집계를 보이다가 깊이가 증가할수록 핵심 엣지에 점점 집중됨으로써 계층별 적응성의 실현을 입증한다.
• 스무딩 지표 분석 결과 DGCF는 고정된 패턴을 가진 모델보다 더 높은 스무딩 수준을 유지함을 확인하여 과도한 스무딩 감소와 더 안정적인 학습 동역학을 의미한다.