[논문 리뷰] Infinite Tucker Decomposition: Nonparametric Bayesian Models for Multiway Data Analysis

Zenglin Xu, Feng Yan외 2명|arXiv (Cornell University)|2011. 08. 31.

Tensor decomposition and applications참고 문헌 15인용 수 29

한 줄 요약

이 논문은 비모수 베이지안 텐서 분해 프레임워크인 InfTucker를 제안하며, 비선형 공분산 함수를 사용하는 텐서 변수 정규 또는 t 분포를 활용해 다중 방향 데이터를 모델링함으로써 무한차원 특징 학습이 가능하다. 비선형 상호작용, 노이즈, 누락 데이터, 다양한 데이터 유형을 동시에 처리할 수 있는 확률적 프레임워크와 효율적인 변분 추론을 통해 화학계량학 및 희소 이진 사회망 데이터셋에서 최신 기법들보다 유의미하게 높은 예측 정확도를 달성한다.

ABSTRACT

Tensor decomposition is a powerful computational tool for multiway data analysis. Many popular tensor decomposition approaches---such as the Tucker decomposition and CANDECOMP/PARAFAC (CP)---amount to multi-linear factorization. They are insufficient to model (i) complex interactions between data entities, (ii) various data types (e.g. missing data and binary data), and (iii) noisy observations and outliers. To address these issues, we propose tensor-variate latent nonparametric Bayesian models, coupled with efficient inference methods, for multiway data analysis. We name these models InfTucker. Using these InfTucker, we conduct Tucker decomposition in an infinite feature space. Unlike classical tensor decomposition models, our new approaches handle both continuous and binary data in a probabilistic framework. Unlike previous Bayesian models on matrices and tensors, our models are based on latent Gaussian or $t$ processes with nonlinear covariance functions. To efficiently learn the InfTucker from data, we develop a variational inference technique on tensors. Compared with classical implementation, the new technique reduces both time and space complexities by several orders of magnitude. Our experimental results on chemometrics and social network datasets demonstrate that our new models achieved significantly higher prediction accuracy than the most state-of-art tensor decomposition

연구 동기 및 목표

• 기존 텐서 분해 모델의 한계를 해결하기 위해 복잡한 비선형 상호작용, 노이즈 있는 관측치, 누락 데이터, 비연속 데이터 유형을 모델링할 수 없음을 해결한다.
• 적절한 우도 함수를 통해 연속, 이진, 누락 데이터를 자연스럽게 처리할 수 있는 통합된 확률적 프레임워크를 개발한다.
• 비모수 베이지안 방법을 활용해 무한차원 특징 공간에서의 터커 분해를 가능하게 한다.
• 대규모 텐서 데이터에 대해 시간 및 공간 복잡도를 수개월 수준으로 감소시키는 효율적인 변분 추론 기법을 설계한다.
• 실세계 화학계량학 및 사회망 데이터셋에서 최신 기법들보다 뛰어난 예측 성능을 입증한다.

제안 방법

• 다중 방향 데이터 분석을 위한 텐서 변수 정규 또는 t 분포 기반의 비모수 베이지안 모델인 InfTucker를 제안한다.
• 복잡한 비선형 상호작용을 모델링하기 위해 비선형 공분산 함수(예: 지수 함수)를 사용한다.
• 관측된 텐서가 핵심 텐서와 요인 행렬을 가진 확률적 생성 모델의 결과로 나타나는 것으로 가정한다.
• 텐서의 구조를 활용해 계산 복잡도를 감소시키는 새로운 변분 추론 기법을 개발하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 동일한 프레임워크 내에서 연속 및 이진 데이터 유형을 처리하기 위해 다양한 우도 함수(Gaussian, Bernoulli)를 적용한다.
• 변분 베이즈를 사용해 잠재 변수의 사후 분포를 근사함으로써 효율적인 학습과 불확실성 정량화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 프레임워크는 다중 방향 데이터의 여러 모드 간에 복잡한 비선형 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 통합된 확률적 모델 내에서 누락 데이터, 노이즈 있는 관측치, 혼합된 데이터 유형(연속 및 이진)을 텐서 분해로 어떻게 처리할 수 있는가?
• RQ3 비선형 공분산 함수를 가진 비모수 베이지안 모델을 사용해 대규모 텐서 분해에 대해 효율적인 추론을 달성할 수 있는가?
• RQ4 실세계 데이터셋에서 제안된 InfTucker 모델은 기존의 고전적 및 최신 텐서 분해 기법들보다 예측 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ5 가우시안 과정 대비 꼬리가 두꺼운 t 과정을 사용함으로써 이상치 및 노이즈에 더 강건한 성능을 발휘할 수 있는가?

주요 결과

• 화학계량학 및 사회망 데이터셋에서 InfTucker^gp(가우시안 과정 기반)는 모든 기준선 방법보다 유의미하게 높은 예측 정확도를 달성했으며, 평균 제곱 오차가 낮았다.
• InfTucker^tp(t 과정 기반)는 대부분의 경우 InfTucker^gp를 초월했으며, 특히 노이즈가 많거나 이상치가 많은 데이터에서 t 분포의 두꺼운 꼬리 특성 덕분에 더 뛰어난 성능을 보였다.
• 이진 사회망 데이터셋(Enron, Digg1, Digg2)에서 InfTucker^gp와 InfTucker^tp는 CP, TD, WCP보다 더 높은 AUC 값을 기록했으며, 최소 제곱 최소화로 인한 과적합 및 0값 예측 문제를 악용한 기존 기법들과는 대조적으로 성능이 뛰어났다.
• 제안된 변분 추론 기법은 기존 구현 대비 시간 및 공간 복잡도를 수개월 수준으로 감소시켜 비교적 큰 데이터셋에서도 효율적인 학습을 가능하게 했다.
• 모델은 누락 데이터와 노이즈에 강건했으며, 사후 분포를 통해 예측 불확실성을 정량화했고, 이러한 신뢰도 추정이 없는 비확률적 접근법보다 뛰어난 성능을 보였다.
• 교차검증 결과, 화학계량학 데이터셋에서는 최적의 잠재 요인 수 r=3로 도출되었으며, 사회망 데이터셋에서는 r 값이 다양하게 변하더라도 InfTucker는 뛰어난 성능을 유지했다.