[논문 리뷰] Scalable Bayesian Non-Negative Tensor Factorization for Massive Count Data

Changwei Hu, Piyush Rai외 3명|arXiv (Cornell University)|2015. 08. 18.

Tensor decomposition and applications참고 문헌 21인용 수 13

한 줄 요약

이 논문은 막대한 카운트 값 텐서를 위한 확장 가능한 베이지안 비음수 텐서 분해 모델을 제안한다. 이는 베타-음수 이항 생성 모델을 활용하고 포아송 분포를 다항분포로 재정의하여 공액성을 확보하고, 효율적인 깁스 샘플링 및 변분 추론을 가능하게 한다. 이 방법은 텐서 랭크를 자동으로 추론하고 해석 가능한 주제 유사 요인을 제공하며, 배치 방법으로 처리하기 어려운 텐서에 대해 스케일러블한 온라인 추론을 가능하게 한다.

ABSTRACT

We present a Bayesian non-negative tensor factorization model for count-valued tensor data, and develop scalable inference algorithms (both batch and online) for dealing with massive tensors. Our generative model can handle overdispersed counts as well as infer the rank of the decomposition. Moreover, leveraging a reparameterization of the Poisson distribution as a multinomial facilitates conjugacy in the model and enables simple and efficient Gibbs sampling and variational Bayes (VB) inference updates, with a computational cost that only depends on the number of nonzeros in the tensor. The model also provides a nice interpretability for the factors; in our model, each factor corresponds to a "topic". We develop a set of online inference algorithms that allow further scaling up the model to massive tensors, for which batch inference methods may be infeasible. We apply our framework on diverse real-world applications, such as \emph{multiway} topic modeling on a scientific publications database, analyzing a political science data set, and analyzing a massive household transactions data set.

연구 동기 및 목표

• 거대하고 희소하며 과분산된 카운트 값 텐서 데이터를 위한 완전한 베이지안 비음수 텐서 분해 모델을 개발한다.
• 분해 랭크를 사전에 지정하지 않고도 자동으로 랭크를 추론할 수 있도록 한다.
• qualitative 분석을 위해 텐서 모드에 대한 분포(주제)를 나타내는 해석 가능한 잠재 요인을 제공한다.
• 기존 방법으로 처리하기 어려운 크기의 텐서에 적합한 스케일러블한 배치 및 온라인 추론 알고리즘을 설계한다.
• 다차원 주제 모델링, 정치학 분석, 대규모 소비자 거래 모델링과 같은 실세계 응용을 지원한다.

제안 방법

• 과분산된 카운트 데이터를 포괄하고 공액성을 가능하게 하기 위해 베타-음수 이항 생성 모델을 사용한다.
• 포아송 우도를 다항분포로 재구성하여 공액성을 달성하고, 폐쇄형 깁스 샘플링 및 변분 베이즈 업데이트를 가능하게 한다.
• 각 요인 행렬의 열에 디리클레 prior를 적용하여 각 요인이 텐서 모드 객체에 대한 분포(주제)를 나타내도록 보장한다.
• 텐서 항목을 포아송 분포의 혼합으로 모델링하기 위해 감마-감마-포아송 계층적 구조를 활용한다.
• 온라인 추론 알고리즘 두 가지를 개발한다: 온라인 MCMC와 스 tochastic variational inference이며, 둘 다 비제로 요소의 수에 비례한 계산 비용을 가진다.
• 조건부 밀도 필터링과 적응형 학습률을 사용한 스 tochastic variational inference를 통해 막대한 텐서에 스케일링한다.

실험 결과

연구 질문

• RQ1 베이지안 비음수 텐서 분해 모델이 거대하고 희소하며 과분산된 카운트 값 텐서 데이터를 효과적으로 처리할 수 있는가?
• RQ2 포아송 분해와 같은 비공액 모델에서 공액성을 달성하기 위해선 어떻게 해야 하는가? 이는 효율적인 깁스 샘플링 및 변분 추론을 가능하게 한다.
• RQ3 사용자가 수동으로 지정하지 않더라도 모델이 텐서 분해의 진정한 랭크를 자동으로 추론할 수 있는가?
• RQ4 온라인 추론 알고리즘이 거대한 텐서에서 배치 방법과 비교해 수렴 속도와 확장성 측면에서 어떻게 성능을 내는가?
• RQ5 유추된 요인이 실세계 응용에서 의미 있는 주제 또는 텐서 모드에 대한 분포로 해석될 수 있는가?

주요 결과

• 제안된 모델은 기존 최첨단 방법(PFT 및 lraNTD)이 저장 및 계산 제약으로 인해 실패하는 막대한 텐서—예를 들어 117,054×438×67,095의 가정 거래 데이터셋—을 성공적으로 처리한다.
• 조건부 밀도 필터링과 스 tochastic variational inference를 포함한 온라인 추론 방법은 동일한 막대한 거래 데이터에서 배치 방법보다 훨씬 더 빠른 수렴 속도를 보이며, 더 적은 시간에 더 높은 보류된 로그우도를 달 đạt한다.
• 모델의 배치 추론은 동일한 데이터를 처리하는 PTF 기준보다 훨씬 빠르며, 반복당 실행 시간이 크게 감소하였다.
• 유추된 요인은 해석 가능하다: 예를 들어 거래 데이터에서는 세 가지의 명확한 소비자 행동 클러스터—인기 있는 매장, 도매 매장, 저다양성 매장—가 나타났으며, 각각 다른 품목 선호도와 행동 패턴을 보였다.
• 모델은 소비자 쇼핑 행동의 경직성을 드러낸다: 가정들은 특정 매장에 강한 선호를 보이며 가용 식품 품목의 소수만 소비하여 탐색 행동이 제한됨을 시사한다.
• 유추된 λ 매개변수는 100개의 요인 중 약 60개만 유의미하다고 나타내어, 모델이 분해의 효과적 랭크를 자동으로 추론할 수 있음을 보여준다.