[논문 리뷰] A Robust Hierarchical Graph Convolutional Network Model for Collaborative Filtering

Shaowen Peng, Tsunenori Mine|arXiv (Cornell University)|2020. 04. 30.

Recommender Systems and Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 GCN 기반 추천에서 계층적 메시지 집합과 계층별 메시지 드롭아웃을 통해 과도한 스무딩과 과적합을 줄이고, 복잡도를 크게 증가시키지 않으면서도 강인한 성능을 달성하는 계층적 그래프 컨볼루션 네트워크(RH-GCCF)를 제안한다. 이 모델은 특히 희소 데이터셋에서 최신 기술 수준의 성능을 기록하며, CiteULike에서 기준 모델 대비 NDCG@20에서 24.43% 향상된 성과를 보였다.

ABSTRACT

Graph Convolutional Network (GCN) has achieved great success and has been applied in various fields including recommender systems. However, GCN still suffers from many issues such as training difficulties, over-smoothing, vulnerable to adversarial attacks, etc. Distinct from current GCN-based methods which simply employ GCN for recommendation, in this paper we are committed to build a robust GCN model for collaborative filtering. Firstly, we argue that recursively incorporating messages from different order neighborhood mixes distinct node messages indistinguishably, which increases the training difficulty; instead we choose to separately aggregate different order neighbor messages with a simple GCN model which has been shown effective; then we accumulate them together in a hierarchical way without introducing additional model parameters. Secondly, we propose a solution to alleviate over-smoothing by randomly dropping out neighbor messages at each layer, which also well prevents over-fitting and enhances the robustness. Extensive experiments on three real-world datasets demonstrate the effectiveness and robustness of our model.

연구 동기 및 목표

• GCN 기반 협업 필터링에서의 학습 곤란, 과도한 스무딩, 그리고 악성 공격에 대한 취약성 문제를 해결하기 위해.
• 다른 순서의 이웃에서 온 메시지를 구분하고 별도로 집계함으로써 표현 학습을 향상시키기 위해.
• 이웃 메시지의 계층별 무작위 드롭아웃을 통해 과적합과 과도한 스무딩을 줄이기 위해.
• 모델 복잡도를 크게 증가시키지 않으면서도 데이터 희소성과 악성 노이즈 상황에서 모델 강인성을 향상시키기 위해.

제안 방법

• 1차, 2차, 그 이상의 순서 이웃에서 온 메시지를 별도의 GCN 레이어를 사용해 계층적으로 집계함으로써, 서로 다른 순서의 메시지가 혼합되는 것을 방지한다.
• 각 순서의 이웃에서 온 메시지는 표준 GCN를 사용해 독립적으로 집계되며, 이후 파라미터 없는 계층적 방식으로 요소별 합산을 통해 통합된다.
• 계층별 메시지 드롭아웃 전략을 도입하여 각 GCN 레이어에서 이웃 메시지를 무작위로 제거함으로써 과도한 스무딩과 과적합을 방지한다.
• 추가 학습 가능한 파라미터를 피하고 계층적 집계를 위해 이진 마스크 연산에 의존함으로써 모델의 단순성을 유지한다.
• 전체 그래프 전파 없이도 다중 홉을 거쳐도 구조적 정보를 유지함으로써 희소 데이터에서의 성능 유지를 위한 아키텍처 설계가 이루어졌다.
• 표준 최적화 방법을 사용해 엔드 투 엔드로 학습되며, 모델의 강인성은 정규 분포 노이즈, 데이터 희소성, 엣지 제거 공격 등의 조건에서 평가되었다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않으면서도 다중 순서 이웃 메시지의 계층적 집합이 GCN 기반 협업 필터링 성능을 향상시킬 수 있는가?
• RQ2 계층별 메시지 드롭아웃 전략이 GCN 기반 추천 모델에서 과도한 스무딩과 과적합을 효과적으로 줄일 수 있는가?
• RQ3 Gaussian 노이즈와 엣지 제거 공격과 같은 악성 공격 상황에서 제안된 모델의 성능은 어떠한가?
• RQ4 기존 GCN가 성능이 저하되는 희소 데이터셋에서도 모델이 강력한 성능을 유지할 수 있는가?

주요 결과

• 세 가지 데이터셋 중 가장 희소한 CiteULike 데이터셋에서, 모델은 최고의 기준 모델 대비 NDCG@20에서 24.43% 향상된 성과를 기록하며 희소 데이터에서 뛰어난 성능을 입증했다.
• 더 밀도가 높은 Movielens 데이터셋에서도 모델은 NDCG@20에서 2.24% 향상된 성능을 기록하며, 다양한 데이터 희소성 수준에서 일관된 성능 향상을 보였다.
• Gaussian 노이즈와 데이터 희소성 공격 조건에서 모델은 NGCF와 LR-GCCF를 모두 능가하며 성능 저하가 더 적어, 강인성을 확인시켰다.
• 계층별 메시지 드롭아웃 전략은 드롭아웃 없이 학습한 기준 모델과 1차 이웃만 사용하는 모델보다도 일관되게 성능 향상을 이끌어내어 그 효과를 입증했다.
• RH-GCCF의 학습 시간은 표준 GCN 대비 1.34배에 불과하여, 계층적 설계에도 불구하고 수용 가능한 계산 오버헤드를 보였다.
• 레이어 수가 최적의 깊이를 초과할 경우 성능 저하가 발생함을 확인하여, 과도한 메시지 전파가 노이즈를 유발하고 수익을 감소시킬 수 있음을 시사했다.