[논문 리뷰] Less is More: Reweighting Important Spectral Graph Features for Recommendation

Shaowen Peng, Kazunari Sugiyama외 1명|arXiv (Cornell University)|2022. 04. 24.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 논문은 GCN 기반 추천 시스템에서 전통적인 근접성 집합 방식을 대체하기 위해 가장 중요한 스펙트럼 그래프 특징—근접성의 스무딩과 차이—만을 재가중하는 그래프 노이즈 제거 인코더(GDE)를 제안한다. GDE는 밴드패스 필터로 작용하여 노이즈를 제거하고 과도한 스무딩을 방지하며, 다섯 개인 실세계 데이터셋에서 LightGCN보다 12배 빠른 훈련 속도로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

As much as Graph Convolutional Networks (GCNs) have shown tremendous success in recommender systems and collaborative filtering (CF), the mechanism of how they, especially the core components ( extit{i.e.,} neighborhood aggregation) contribute to recommendation has not been well studied. To unveil the effectiveness of GCNs for recommendation, we first analyze them in a spectral perspective and discover two important findings: (1) only a small portion of spectral graph features that emphasize the neighborhood smoothness and difference contribute to the recommendation accuracy, whereas most graph information can be considered as noise that even reduces the performance, and (2) repetition of the neighborhood aggregation emphasizes smoothed features and filters out noise information in an ineffective way. Based on the two findings above, we propose a new GCN learning scheme for recommendation by replacing neihgborhood aggregation with a simple yet effective Graph Denoising Encoder (GDE), which acts as a band pass filter to capture important graph features. We show that our proposed method alleviates the over-smoothing and is comparable to an indefinite-layer GCN that can take any-hop neighborhood into consideration. Finally, we dynamically adjust the gradients over the negative samples to expedite model training without introducing additional complexity. Extensive experiments on five real-world datasets show that our proposed method not only outperforms state-of-the-arts but also achieves 12x speedup over LightGCN.

연구 동기 및 목표

• 그래프 컨volution 네트워크(GCNs)가 추천 성능에 기여하는 방식, 특히 근접성 집합의 역할을 조사하는 것.
• 데이터 희소성 하에서 추천 정확도에 가장 유익한 스펙트럼 그래프 특징을 특정하는 것.
• 노이즈 강조와 과도한 스무딩 특징을 유발하는 반복적 근접성 집합의 비효율성 문제를 해결하는 것.
• 성능을 유지하거나 향상시키면서도 더 단순하고 효율적인 GCN 기반 공동 필터링의 대안을 설계하는 것.
• 추가 복잡성 없이도 음성 샘플에 대한 동적 기울기 조정을 통해 훈련 속도를 가속화하는 것.

제안 방법

• 이 방법은 인접 행렬을 스펙트럼 특징으로 분해하여 GCN을 스펙트럼 관점에서 분석함으로써 의미 있는 성분을 분리한다.
• 오직 근접성의 스무딩과 차이를 강조하는 소수의 스펙트럼 특징만이 추천 정확도 향상에 뚜렷한 기여를 한다는 것을 규명한다.
• 스펙트럼 특징 중 가장 정보가 많은 것들만 유지하고 노이즈를 제거하기 위해 그래프 노이즈 제거 인코더(GDE)를 제안한다.
• GDE는 GCN 내 표준 근접성 집합 메커니즘을 대체하여 고차 연결성을 캡처하기 위해 깊은 스택을 쌓을 필요 없이도 작동한다.
• 음성 샘플에 대한 동적 손실 함수가 기울기 크기를 동적으로 조정하여 훈련 중 수렴 속도를 가속화한다.
• 추가 비선형성이나 임bedding 변환 없이 확률적 최적화를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 추천 정확도 향상에 가장 영향을 미치는 스펙트럼 그래프 특징은 무엇인가?
• RQ2 왜 다수의 GCN 레이어를 스택하면 성능 향상이 이루어지는가? 이 메커니즘은 효율적인가?
• RQ3 근접성 집합을 더 효과적이고 효율적인 메커니즘으로 대체할 수 있는가? 이는 핵심 그래프 신호를 유지할 수 있는가?
• RQ4 모델 복잡성 증가 없이 GCN 기반 추천 시스템의 훈련 수렴 속도를 어떻게 가속화할 수 있는가?
• RQ5 더 단순한 아키텍처가 깊은 GCN 변형보다 성능을 뛰어나게 하면서도 상당히 더 빠른가?

주요 결과

• 근접성의 스무딩과 차이를 강조하는 특징들만이 추천 정확도 향상에 뚜렷한 기여를 한다. 이는 전체 스펙트럼 특징의 소수에 불과하다.
• 대부분의 스펙트럼 특징은 노이즈 역할을 하며 성능을 떨어뜨리며, 모든 그래프 정보가 유용하다는 가정을 반박한다.
• GCN 내 반복적인 근접성 집합은 스무딩 특징을 강조하지만 노이즈를 충분히 걸러내지 못해 과도한 스무딩과 비효율을 초래한다.
• 제안된 그래프 노이즈 제거 인코더(GDE)는 레이어 스택 없이도 핵심 스펙트럼 특징을 직접 캡처함으로써 깊은 GCN 모델과 비교해 유사하거나 더 나은 성능을 달성한다.
• 이 방법은 다섯 개의 실세계 추천 데이터셋에서 최신 기술 수준(SOTA) 기반 모델을 능가하면서도 LightGCN보다 12배 빠른 속도를 기록한다.
• 음성 샘플에 대한 동적 기울기 조정은 추가 모델 복잡성 없이도 훈련 수렴 속도를 상당히 가속화한다.