[논문 리뷰] A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|2014. 09. 29.

Tensor decomposition and applications참고 문헌 15인용 수 15

한 줄 요약

이 논문은 Probabilistic Latent Tensor Factorization (PLTF) 및 Generalized Coupled Tensor Factorization (GCTF) 프레임워크를 사용하여 링크 예측을 위한 변분 베이지안 텐서 분해 모델을 제안한다. 공액 사전분포와 효율적인 변분 추론을 활용함으로써, 최대우도 추정 방법에 비해 완전하지 않은 실세계 데이터셋에서 더 뛰어난 예측 성능과 과적합에 대한 강건성을 달성한다.

ABSTRACT

Probabilistic approaches for tensor factorization aim to extract meaningful structure from incomplete data by postulating low rank constraints. Recently, variational Bayesian (VB) inference techniques have successfully been applied to large scale models. This paper presents full Bayesian inference via VB on both single and coupled tensor factorization models. Our method can be run even for very large models and is easily implemented. It exhibits better prediction performance than existing approaches based on maximum likelihood on several real-world datasets for missing link prediction problem.

연구 동기 및 목표

• 결측 데이터를 자연스럽게 다룰 수 있는 텐서 분해를 위한 전면적인 베이지안 추론 프레임워크를 개발하는 것.
• PLTF 및 GCTF 모델에 대한 변분 베이지안 추론을 통해 링크 예측 작업의 예측 성능을 향상시키는 것.
• 최대우도 추정에서 흔히 발생하는 과적합을 방지하는 스케일러블하고 계산적으로 효율적인 방법을 제공하는 것.
• 결측 데이터가 존재하는 상황에서 모델 순서 선택에 대한 강건성을 입증하는 것.

제안 방법

• 공액 사전분포와 포isson 우도를 사용한 계층적 생성 모델을 도입하여 공액 변분 추론을 가능하게 한다.
• PLTF 및 GCTF 모델의 잠재 요인에 대한 사후분포를 근사하기 위해 변분 베이지안 추론을 적용한다.
• 평균장 근사보다 더 풍부한 근사를 위해 전체 조건부 분포를 다항분포의 곱으로 모델링한다.
• 희소성과 낮은 질서의 텐서 표현을 사용하여 추론 문제를 해결함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 공액 지수족 분포 기반으로 변분 매개변수에 대한 업데이트 규칙을 유도한다.
• 공통 잠재 요인을 가진 이질적인 관계 데이터의 동시 모델링을 허용하는 연합 텐서 분해로 접근을 확장한다.

실험 결과

연구 질문

• RQ1 변분 베이지안 추론이 텐서 분해를 이용한 링크 예측에서 최대우도 추정을 능가할 수 있는가?
• RQ2 제안된 방법은 대규모 텐서 분해 문제에서 결측 데이터를 어떻게 다루는가?
• RQ3 특히 모델 복잡도가 증가할수록 변분 베이지안 접근이 EM 기반 방법에 비해 과적합을 줄이는가?
• RQ4 결측 데이터 존재 시 모델 순서 선택에 대한 오류에 대해 이 방법은 얼마나 강건한가?
• RQ5 높은 예측 정확도를 유지하면서도 이론적 실세계 대규모 데이터셋에 효율적으로 스케일링될 수 있는가?

주요 결과

• 제안된 변분 베이지안(VB) 방법은 Digg 및 Friendster를 포함한 모든 테스트 데이터셋에서 EM 기반 방법보다 유의미하게 높은 AUC 점수를 달성한다.
• 80% 결측 데이터가 존재하는 Digg 데이터셋에서 VB는 AUC 0.961 ± 0.001을 기록했고, EM은 0.892 ± 0.003을 기록하여 VB가 뛰어난 성능을 보였다.
• 모델 순서가 증가함에 따라 VB 방법은 성능 저하가 최소한이었고, 반면 EM 기반 방법은 급격히 성능이 떨어져 과적합에 대한 더 높은 강건성을 보였다.
• 40%, 60%, 80%의 다양한 수준의 결측 데이터에서도 VB 방법은 안정적인 성능을 유지하여 강력한 일반화 능력을 입증했다.
• 계산 효율성이 뛰어나, Friendster와 같은 대규모 데이터셋에서도 추론 시간이 중간 정도로 증가했고, 반면 EM은 계산적으로 비현실적이게 되었다.
• 공액 사전분포와 구조화된 변분 근사를 활용함으로써, 상당한 계산 부담 없이 정확한 사후 추론을 가능하게 하였다.