[논문 리뷰] Link Prediction via Generalized Coupled Tensor Factorisation

Beyza Ermiş, Evrim Acar외 1명|arXiv (Cornell University)|2012. 08. 30.

Tensor decomposition and applications참고 문헌 30인용 수 27

한 줄 요약

이 논문은 공유 잠재 요인을 사용하여 이종 데이터—행렬과 고차원 텐서—를 공동으로 모델링함으로써 링크 예측을 위한 일반화된 결합 텐서 분해(GCTF)를 제안한다. 결합 분석을 통해 적절한 텐서 모델(CP, Tucker)과 손실 함수(KL 발산, 유클리드 거리)를 사용할 경우, 특히 높은 희박성과 콜드 스타트 조건에서 예측 정확도가 크게 향상됨을 입증한다.

ABSTRACT

This study deals with the missing link prediction problem: the problem of predicting the existence of missing connections between entities of interest. We address link prediction using coupled analysis of relational datasets represented as heterogeneous data, i.e., datasets in the form of matrices and higher-order tensors. We propose to use an approach based on probabilistic interpretation of tensor factorisation models, i.e., Generalised Coupled Tensor Factorisation, which can simultaneously fit a large class of tensor models to higher-order tensors/matrices with com- mon latent factors using different loss functions. Numerical experiments demonstrate that joint analysis of data from multiple sources via coupled factorisation improves the link prediction performance and the selection of right loss function and tensor model is crucial for accurately predicting missing links.

연구 동기 및 목표

• 다양한 관계를 가진 희박한 다중관계 데이터셋에서 누락된 링크를 예측하는 도전 과제를 이종 데이터 소스를 활용하여 해결한다.
• 데이터 희박성과 불완전성으로 인해 성능이 열 劣하는 단일 뷰 모델의 한계를 극복한다.
• 공유 잠재 요인을 통해 행렬과 텐서를 공동으로 분석함으로써 링크 예측 성능을 향상시킨다.
• 신규 사용자가 이력 데이터가 전혀 없는 콜드 스타트 문제를 관련 데이터 소스의 보조 정보를 활용하여 해결한다.
• 텐서 모델 선택(CP 대비 Tucker)과 손실 함수(KL 대비 유클리드)가 예측 성능에 미치는 영향을 조사한다.

제안 방법

• 공유 잠재 요인을 갖는 확률적 프레임워크인 일반화된 결합 텐서 분해(GCTF)를 사용하여 다중 텐서 및 행렬 모델을 동시에 피팅한다.
• 다양한 분해 구조를 가진 텐서 모델—CANDECOMP/PARAFAC(CP)와 Tucker—를 사용하여 데이터 복잡성의 다양한 수준을 포괄한다.
• 다양한 손실 함수를 적용: Kullback-Leibler(KL) 발산과 유클리드 거리로 데이터 분포와 노이즈 특성을 적절히 모델링한다.
• 데이터의 희박성 패턴을 고려하는 최적화 문제로 공동 분해 문제를 수립하여 확장성을 확보한다.
• GPS 경로, 위치 특성 등 다양한 보조 정보를 활용하여 불완전한 데이터셋에서 링크 예측 성능을 향상시킨다.
• GCTF 프레임워크 내에서 반복 업데이트 규칙을 구현하여 희박성을 유지하고 대규모 데이터에서 효율적인 계산을 지원한다.

실험 결과

연구 질문

• RQ1 행렬과 텐서로 구성된 이종 데이터의 결합 분석은 단일 뷰 분해 대비 링크 예측 성능을 어떻게 향상시키는가?
• RQ2 텐서 모델(CP 대비 Tucker)과 손실 함수(KL 대비 유클리드)의 어떤 조합이 링크 예측 성능을 최고로 이끌는가?
• RQ3 제안된 결합 모델은 사용자 데이터가 완전히 누락된 경우에도 콜드 스타트 문제를 효과적으로 해결할 수 있는가?
• RQ4 데이터 희박성이 증가함에 따라 성능은 어떻게 저하되며, 높은 누락률 조건에서도 이 결합 모델이 강건성을 유지하는가?
• RQ5 보조 데이터 소스의 사용이 실제 희박한 데이터셋에서 링크 예측 정확도에 상당한 영향을 미치는가?

주요 결과

• 결합 모델은 표준 저랭크 텐서 근사보다 일관되게 우수한 성능을 보이며, 데이터의 80% 이상가 누락된 경우 특히 두드러진다.
• Kullback-Leibler(KL) 발산 손실 함수는 특히 높은 희박성 조건에서 유클리드 거리 기반 손실 함수보다 성능이 뛰어나다.
• Tucker 모델은 전체 코어 텐서 덕분에 더 큰 유연성을 지녀 구조적 패턴을 더 잘 포착할 수 있어 CP 모델보다 뛰어난 성능을 보인다.
• 제안된 결합 모델은 콜드 스타트 문제를 효과적으로 해결한다: 사용자 슬라이스가 10개 또는 50개 완전히 누락된 경우에도 보조 데이터를 활용해 정확한 예측을 유지한다.
• 입력 항목의 90%가 누락된 상황에서, KL 발산을 사용하는 결합 Tucker 모델이 가장 높은 AUC를 기록하여 극도로 희박한 조건에서도 강건성을 입증했다.
• GCTF 프레임워크는 데이터의 희박성을 고려하여 확장 가능한 추론을 가능하게 하여 대규모 실세계 응용에 적합하다.