[논문 리뷰] InfTucker: t-Process based Infinite Tensor Decomposition

Zenglin Xu, Feng Yan외 1명|arXiv (Cornell University)|2011. 08. 31.

Tensor decomposition and applications인용 수 2

한 줄 요약

InfTucker는 복잡한 상호작용, 혼합된 데이터 유형(연속형 및 이진형), 이상치를 모델링하기 위해 t-과정과 무한 특징 공간을 사용하는 비모수 베이지안 텐서 분해 프레임워크를 제안한다. 효율적인 변분 추론을 통해 시간 및 공간 복잡도를 수개의 주기수 감소시켜, 화학계량학 및 사회망 데이터셋에서 최신 기법들보다 유의미하게 높은 예측 정확도를 달성한다.

ABSTRACT

Tensor decomposition is a powerful computational tool for multiway data analysis. Many popular tensor decomposition approaches---such as the Tucker decomposition and CANDECOMP/PARAFAC (CP)---amount to multi-linear factorization. They are insufficient to model (i) complex interactions between data entities, (ii) various data types (e.g. missing data and binary data), and (iii) noisy observations and outliers. To address these issues, we propose tensor-variate latent nonparametric Bayesian models, coupled with efficient inference methods, for multiway data analysis. We name these models InfTucker. Using these InfTucker, we conduct Tucker decomposition in an infinite feature space. Unlike classical tensor decomposition models, our new approaches handle both continuous and binary data in a probabilistic framework. Unlike previous Bayesian models on matrices and tensors, our models are based on latent Gaussian or $t$ processes with nonlinear covariance functions. To efficiently learn the InfTucker from data, we develop a variational inference technique on tensors. Compared with classical implementation, the new technique reduces both time and space complexities by several orders of magnitude. Our experimental results on chemometrics and social network datasets demonstrate that our new models achieved significantly higher prediction accuracy than the most state-of-art tensor decomposition

연구 동기 및 목표

• 데이터 엔티티 간의 복잡한 상호작용을 다루는 데 있어 전통적인 텐서 분해 모델의 한계를 해결하기 위해.
• 누락된 데이터, 이진 데이터, 노이즈가 있는 관측치를 포함한 다양한 데이터 유형을 통합된 확률적 프레임워크 내에서 모델링하기 위해.
• Tucker 분해에서 무한 특징 학습이 가능한 비모수 베이지안 접근법을 개발하기 위해.
• 확장 가능한 변분 추론 기법을 통해 텐서 분해의 계산 복잡도를 감소시키기 위해.
• 이질적이고 노이즈가 많은 데이터를 포함한 실제 데이터셋에서 예측 정확도를 향상시키기 위해.

제안 방법

• 비선형 공분산 함수를 갖는 t-과정 기반의 텐서 변수 잠재 비모수 베이지안 모델을 제안한다.
• 잠재적 가우시안 또는 t-과정을 사용한 무한 Tucker 분해를 위한 InfTucker 프레임워크를 도입한다.
• 대규모 설정에서 효율적인 학습을 가능하게 하기 위해 텐서에 특화된 변분 추론 기법을 활용한다.
• 다중 방향 데이터 내의 복잡한 비선형 상호작용을 포착하기 위해 비선형 공분산 함수를 사용한다.
• 단일 확률적 텐서 분해 프레임워크 내에서 연속형 및 이진형 데이터를 공동으로 모델링할 수 있도록 지원한다.
• 기존 구현 대비 시간 및 공간 복잡도를 수개의 주기수 감소시킨다.

실험 결과

연구 질문

• RQ1 다중 방향 데이터에서 데이터 엔티티 간의 복잡하고 비선형적인 상호작용을 다룰 수 있도록 텐서 분해 모델을 어떻게 확장할 수 있는가?
• RQ2 비모수 베이지안 접근법이 통합된 텐서 분해 프레임워크 내에서 연속형, 이진형, 누락된 데이터와 같은 혼합된 데이터 유형을 효과적으로 모델링할 수 있는가?
• RQ3 t-과정과 무한 특징 공간은 텐서 분해에서 노이즈와 이상치에 대한 강건성을 어떻게 향상시키는가?
• RQ4 변분 추론은 텐서 분해에서 확장성과 계산 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 InfTucker 프레임워크는 실제 데이터셋에서 최신 기법들보다 예측 정확도에서 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• InfTucker는 화학계량학 및 사회망 데이터셋에서 최신 기반 텐서 분해 기법들보다 유의미하게 높은 예측 정확도를 달성한다.
• 제안된 변분 추론 기법은 기존 구현 대비 시간 및 공간 복잡도를 수개의 주기수 감소시킨다.
• 모델은 하나의 확률적 프레임워크 내에서 연속형 및 이진형 데이터를 포함한 혼합된 데이터 유형을 효과적으로 처리한다.
• t-과정의 사용은 텐서 분해에서 노이즈가 있는 관측치와 이상치를 강건하게 모델링할 수 있도록 한다.
• 무한 특징 공간은 사전에 구성 요소의 수를 지정하지 않고도 데이터 기반으로 유연하게 기저 구조를 탐색할 수 있도록 한다.
• t-과정 모델 내의 비선형 공분산 함수는 다중 방향 배열 내의 데이터 엔티티 간의 복잡한 비선형 상호작용을 포착한다.