[논문 리뷰] Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks

Federico Monti, Michael M. Bronstein외 1명|arXiv (Cornell University)|2017. 04. 22.

Graph Theory and Algorithms인용 수 241

한 줄 요약

이 논문은 행렬 완성을 위한 순환 그래프 CNN(RGCNN)을 도입하고, 사용자/아이템 그래프에 걸친 다중 그래프 컨볼루션과 LSTM 확산을 결합하여 등급을 예측하며, 일정한 수의 파라미터로 최첨단 성능을 달성한다.

ABSTRACT

Matrix completion models are among the most common formulations of recommender systems. Recent works have showed a boost of performance of these techniques when introducing the pairwise relationships between users/items in the form of graphs, and imposing smoothness priors on these graphs. However, such techniques do not fully exploit the local stationarity structures of user/item graphs, and the number of parameters to learn is linear w.r.t. the number of users and items. We propose a novel approach to overcome these limitations by using geometric deep learning on graphs. Our matrix completion architecture combines graph convolutional neural networks and recurrent neural networks to learn meaningful statistical graph-structured patterns and the non-linear diffusion process that generates the known ratings. This neural network system requires a constant number of parameters independent of the matrix size. We apply our method on both synthetic and real datasets, showing that it outperforms state-of-the-art techniques.

연구 동기 및 목표

• 사용자/아이템 그래프에서의 로컬 정상성을 포착하기 위해 행렬 완성에 그래프 구조적 사전 정보를 도입하도록 동기를 부여한다.
• 등급의 그래프 구조 패턴과 확산 다이내믹스를 학습하는 신경망 아키텍처를 개발한다.
• 확장 가능한 인수분해형 또는 전체 행렬 형태를 사용해 일정한 파라미터 수를 달성한다.
• 합성 및 실제-world 추천 데이터셋에서 기준선보다 우수한 성능을 시연한다.

제안 방법

• 행렬을 행 및 열 그래프에 거주하는 것으로 표현하고, X에 대한 부드러움 정규화를 위해 람다(Laplacians)를 사용한다. 4
• 다중 그래프 CNN(MGCNN)을 사용하여 Chebyshev 다항 필터를 통해 사용자 및 아이템 그래프 전반의 공간 특징을 추출하고 O(mn) 복잡도를 유지한다.
• 선택적으로 W와 H에 분리 가능한(인수분해) GCNN을 적용하여 파라미터를 O(m+n)으로 줄인다.
• 공간 특징을 순환 신경망(LSTM)과 연결하여 확산과 같은 시간 업데이트 X^(t+1)=X^(t)+dX^(t)을 수행한다.
• 그래프 기반 정규화 항과 관측 항목에 마스킹된 Frobenius 적합을 포함하는 손실을 최소화하여 엔드투엔드로 학습한다.
• 다음 두 가지 아키텍처를 제공한다: (i) MGCNN+RNN(RGCNN)을 이용한 전체 행렬 완성, (ii) W와 H에 대해 두 개의 GCNN과 RNN으로 구성된 분리 가능한 인수분해 모델(sRGCNN).

실험 결과

연구 질문

• RQ1 그래프에서의 기하학적 딥러닝이 전통적인 그래프 규칙화 또는 저랭크 방법을 넘어 행렬 완성을 향상시킬 수 있는가?
• RQ2 MGCNN을 통해 그래프 구조 점수의 순환 확산이 합성 및 실제 데이터세트에서 기존 베이스라인을 능가하는가?
• RQ3 확장성과 정확성 측면에서 전체 행렬 대 분리형(W,H) 표현 간의 트레이드오프는 무엇인가?
• RQ4 강건한 성능을 달성하기 위해 필요한 확산 스텝 수와 그래프 다항 차수는 무엇인가?

주요 결과

• 강한 커뮤니티 구조를 가진 합성 데이터에서, RGCNN은 고려된 방법들 중에서 최고의 RMSE를 달성한다(예: RGCNN의 0.0053 대 GMC/GRALS/sRGCNN의 더 큰 값).
• 합성-열 전용 설정에서도 sRGCNN은 GRALS 및 다른 베이스라인을 여전히 능가한다(예: RMSE 0.0362 vs. GRALS의 0.0452).
• MovieLens에서 RGCNN 및 그 변형들이 베이스라인을 능가한다(예: sRGCNN RMSE 0.929 대 MC 0.973 및 GMC 0.996).
• Flixster, Douban, YahooMusic 전반에서 RGCNN 패밀리는 GRALS 및 GMC와 같은 최첨단 방법들을 능가하며, sRGCNN/RGCNN이 보고된 최저 RMSE를 달성한다.
• 이 방법은 학습 파라미터를 매우 작게 유지하고(전체 RGCNN의 경우 O(1); 분리 가능한 sRGCNN의 경우 O(m+n)) 아키텍처에 따라 O(mn) 또는 O(m+n) 복잡도로 확장된다.
• 학습된 스펙트럴 필터( Chebyshev 다항식을 통해 )와 확산 기반 학습은 해석 가능한 스펙트럴 패턴과 확산 다이내믹스를 만들어낸다(스펙트럴 필터 도해에 설명된 바와 같이).