[논문 리뷰] Coupled Graphs and Tensor Factorization for Recommender Systems and Community Detection

Vassilis N. Ioannidis, Ahmed S. Zamzam외 2명|arXiv (Cornell University)|2018. 09. 22.

Tensor decomposition and applications참고 문헌 27인용 수 15

한 줄 요약

이 논문은 결손 데이터가 있는 텐서와 그래프 구조의 보조 정보를 동시에 활용하여 추천 및 커뮤니티 탐지 성능을 향상시키기 위한 새로운 모델인 결합 그래프-텐서 분해(CGTF)를 제안한다. 폐쇄형 해를 가진 새로운 ADMM 기반 알고리즘을 사용함으로써 수렴 보장을 확보하고, 텐서와 그래프 양쪽에서의 결손 데이터를 효과적으로 처리하며, 실제 데이터셋에서 최신 기법들보다 정확도와 내성에 뛰어난 성능을 보인다.

ABSTRACT

Joint analysis of data from multiple information repositories facilitates uncovering the underlying structure in heterogeneous datasets. Single and coupled matrix-tensor factorization (CMTF) has been widely used in this context for imputation-based recommendation from ratings, social network, and other user-item data. When this side information is in the form of item-item correlation matrices or graphs, existing CMTF algorithms may fall short. Alleviating current limitations, we introduce a novel model coined coupled graph-tensor factorization (CGTF) that judiciously accounts for graph-related side information. The CGTF model has the potential to overcome practical challenges, such as missing slabs from the tensor and/or missing rows/columns from the correlation matrices. A novel alternating direction method of multipliers (ADMM) is also developed that recovers the nonnegative factors of CGTF. Our algorithm enjoys closed-form updates that result in reduced computational complexity and allow for convergence claims. A novel direction is further explored by employing the interpretable factors to detect graph communities having the tensor as side information. The resulting community detection approach is successful even when some links in the graphs are missing. Results with real data sets corroborate the merits of the proposed methods relative to state-of-the-art competing factorization techniques in providing recommendations and detecting communities.

연구 동기 및 목표

• 사용자 또는 아이템 데이터가 결손된 추천 시스템의 쿨스타트 문제를 해결하기 위해 그래프 구조의 보조 정보를 통합한다.
• 부분적으로 관측된 네트워크에서 텐서 데이터를 보조 정보로 활용하여 커뮤니티 탐지 성능을 향상시킨다.
• 텐서와 그래프를 동시에 모델링하는 통합 프레임워크를 개발하여 상호 보완적 인식 및 결손 데이터 보정을 가능하게 한다.
• 텐서와 상관 행렬 양쪽의 결손 항목을 처리할 수 있는 효율적이고 수렴 보장이 되는 최적화 알고리즘을 설계한다.

제안 방법

• 공유된 잠재 요인을 통해 텐서와 다수의 그래프를 연결하는 결합 그래프-텐서 분해(CGTF) 모델을 제안한다.
• 수렴 보장을 보장하고 계산 복잡도를 감소시키기 위해 폐쇄형 해를 가진 분할 다중법수단(ADMM) 알고리즘을 사용한다.
• 비음성 제약 조건을 통합하고, 증강 라그랑주 함수와 변수 분할을 통해 결손 데이터 문제를 수식화한다.
• 최적화 문제를 재구성하여 각 변수에 대해 강凸성(Strong convexity)을 확보함으로써 수렴성 증명을 지원한다.
• ADMM 솔버에서 데이터 희소성을 활용하여 효율성과 확장성을 추가로 향상시킨다.
• CGTF에서 도출된 해석 가능한 잠재 요인을 활용해, 링크가 일부 결손된 경우에도 그래프 내 커뮤니티를 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 결손 데이터가 있는 추천 시스템에서 텐서와 그래프를 함께 모델링하면 평점 예측 정확도가 향상되는가?
• RQ2 링크가 부분적으로 결손된 그래프에서 텐서 데이터가 커뮤니티 탐지 성능을 향상시키는가?
• RQ3 제안된 CGTF 모델이 기존의 CMTF 및 텐서 분해 기법보다 결손 데이터 처리에 더 뛰어나게 성능을 발휘하는가?
• RQ4 CGTF에 대한 ADMM 기반 알고리즘이 낮은 계산 비용과 폐쇄형 해 업데이트를 통해 수렴 보장을 확보하는가?
• RQ5 텐서의 결손 슬랩과 그래프 행렬의 결손 행/열이 존재할 경우 CGTF 프레임워크의 내성은 어느 정도인가?

주요 결과

• 실제 데이터셋에서 제안된 CGTF 모델은 최신 기법인 CMTF 및 텐서 분해 기법보다 평점 예측 정확도가 뚜렷이 향상된다.
• ADMM 기반 알고리즘이 폐쇄형 해 업데이트를 통해 수렴을 달성하며, 계산 복잡도를 감소시키고 확장성을 보장한다.
• 이 방법은 텐서의 결손 슬랩과 그래프 상관 행렬의 결손 항목을 포함한 다양한 결손 데이터를 효과적으로 처리하여 쿨스타트 문제를 해결한다.
• 그래프 링크의 최대 30%가 결손된 경우에도 CGTF 요인을 활용하면 커뮤니티 탐지 성능이 향상된다.
• 실험 결과, 합성 및 실제 데이터셋 모두에서 CGTF는 추천 정확도와 커뮤니티 탐지 F1 점수에서 경쟁 기법들을 능가한다.
• 이론적 분석을 통해 ADMM 알고리즘의 수렴성이 확인되었으며, 최적성 조건(KKT 조건)이 점 渐진적으로 만족됨을 입증하였다.