[논문 리뷰] Convolutional Geometric Matrix Completion

Kai-Lang Yao, Wu-Jun Li외 2명|arXiv (Cornell University)|2018. 03. 02.

Advanced Graph Neural Networks참고 문헌 52인용 수 7

한 줄 요약

이 논문은 사용자-아이템 관계 그래프를 행렬 완성에 통합하는 순수 GCN 기반의 추천 방법인 컨볼루션 기하 행렬 완성(CGMC)을 제안한다. 가중치가 부여된 자기 근접성 융합과 임베딩 공간 호환성을 위한 완전 연결 투영층을 설계함으로써, CGMC는 정확도와 학습 속도 측면에서 기존의 RMGCNN 및 다른 SOTA 방법들을 능가하는 최고 성능을 달성한다. 실세계 데이터셋에서 검증된 결과, 이는 최신 기술 수준을 초월한다.

ABSTRACT

Geometric matrix completion (GMC) has been proposed for recommendation by integrating the relationship (link) graphs among users/items into matrix completion (MC). Traditional GMC methods typically adopt graph regularization to impose smoothness priors for MC. Recently, geometric deep learning on graphs (GDLG) is proposed to solve the GMC problem, showing better performance than existing GMC methods including traditional graph regularization based methods. To the best of our knowledge, there exists only one GDLG method for GMC, which is called RMGCNN. RMGCNN combines graph convolutional network (GCN) and recurrent neural network (RNN) together for GMC. In the original work of RMGCNN, RMGCNN demonstrates better performance than pure GCN-based method. In this paper, we propose a new GMC method, called convolutional geometric matrix completion (CGMC), for recommendation with graphs among users/items. CGMC is a pure GCN-based method with a newly designed graph convolutional network. Experimental results on real datasets show that CGMC can outperform other state-of-the-art methods including RMGCNN in terms of both accuracy and speed.

연구 동기 및 목표

• 기존 기하 행렬 완성(GMC) 방법들이 그래프 정규화나 하이브리드 GCN-RNN 아키텍처에 의존하는 데에 기인한 한계를 해결하기 위해.
• 적절히 설계된 순수 GCN 기반 접근 방식이 GMC에서 최고 성능을 달성할 수 있는지 조사하기 위해.
• 임베딩 공간 호환성을 확보하기 위해 전용 투영층을 도입함으로써 평점 행렬과 그래프 구조 간의 임베딩 호환성을 향상시키기 위해.
• 자기 연결과 이웃 정보의 균형을 맞추는 가중치 정책을 도입함으로써 그래프 컨볼루션 내 특징 학습을 향상시키기 위해.
• GCN과 행렬 완성 구성 요소가 상호 정보를 주고받는 통합된 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 스펙트럴 그래프 컨볼루션에서 체비셰프 다항식의 첫 두 항을 기반으로 한 새로운 그래프 컨볼루션 레이어를 제안하여 효율적이고 안정적인 메시지 전달을 가능하게 한다.
• 자기 연결과 이웃 노드의 기여도를 동적으로 제어하는 가중치 정책을 도입하여 그래프 임베딩의 특징 표현을 향상시킨다.
• GCN 이후 완전 연결 레이어를 적용하여 그래프 공간의 사용자 및 아이템 임베딩을 평점 행렬 공간으로 투영함으로써 그래프 표현과 평점 표현 간 호환성을 확보한다.
• GCN와 행렬 완성 기능을 통합된 딥 러닝 프레임워크로 통합하여 상호 피드백이 가능한 엔드 투 엔드 학습을 가능하게 한다.
• 대규모 데이터셋에서의 효율적 최적화와 확장 가능한 학습을 위해 인자 분해 행렬 분해 손실을 적용한다.
• 과적합을 방지하기 위해 조기 정지와 L2 정규화를 사용하며, 초모델 하이퍼파rameter는 검증 세트 성능을 기반으로 튜닝한다.

실험 결과

연구 질문

• RQ1 적절히 설계된 순수 GCN 기반 아키텍처가 RMGCNN과 같은 하이브리드 GCN-RNN 모델보다 기하 행렬 완성에서 성능을 뛰어넘을 수 있는가?
• RQ2 자기 연결과 이웃 간의 가중치 융합 정책이 추천을 위한 그래프 임베딩 품질 향상에 얼마나 효과적인가?
• RQ3 전용 완전 연결 투영층이 그래프 기반 임베딩을 평점 행렬 임베딩과 정렬하는 데 미치는 영향은 무엇인가?
• RQ4 CGMC는 RMGCNN 및 GC-MC와 같은 최신 기술 수준의 방법들과 비교해 정확도와 학습 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 CGMC는 가중치 계수 γ와 임베딩 차원 d와 같은 핵심 하이퍼파rameter에 얼마나 민감한가?

주요 결과

• CGMC는 ML-100K, Douban, Flixster, YahooMusic의 네 가지 벤치마크 데이터셋에서 모두 최고 성능을 기록하였으며, RMSE와 학습 속도 측면에서 RMGCNN과 GC-MC를 모두 능가한다.
• ML-1M 데이터셋에서 CGMC는 1에포크당 7초의 속도로 RMSE 0.8275를 달성하였으며, 이는 RMGCNN(212초)과 GC-MC(3116초)에 비해 뚜렷한 속도 우위를 확보한 것이다.
• 제거 실험 결과, 완전 연결 레이어를 제거한 CGMC-0의 경우 모든 데이터셋과 GCN 깊이에서 일관되게 성능 저하가 발생함을 확인하였다.
• CGMC의 GCN를 GCN-kw로 대체할 경우 성능 저하가 발생함을 통해 제안된 가중치 정책이 이웃 융합에 있어 우월함을 입증하였다.
• CGMC는 하이퍼파ram터 변화에 대해 뛰어난 내성성을 보였으며, γ 값(10⁻⁴에서 1.0)과 임베딩 차원의 넓은 범위에서 조건부로 강력한 성능 유지를 유지하였고, 낮은 d에서도 성능 저하가 없었다.
• YahooMusic과 같은 대규모 데이터셋에서도 안정적이고 유망한 결과를 기록하였으며, RMSE 18.9를 달성하여 RMGCNN(19.9)과 GC-MC(34.6)를 모두 능가하였다.