[논문 리뷰] DinTucker: Scaling up Gaussian process models on multidimensional arrays with billions of elements

Shandian Zhe, Yuan Qi외 3명|arXiv (Cornell University)|2013. 11. 12.

Tensor decomposition and applications참고 문헌 10인용 수 9

한 줄 요약

DinTucker는 지도학습 기반의 분산 가우시안 프로세스 모델로, 수십억 개의 원소를 가진 다차원 배열에서 대규모 텐서 분해를 수행하기 위한 것이다. 계층적 베이지안 프레임워크를 사용하여 하위 배열에서 국소 학습을 가능하게 하고, MapReduce를 통한 확장 가능한 추론을 실현한다. 실제 데이터셋인 NELL과 액세스 로그에서 GigaTensor보다 더 높은 예측 정확도와 더 빠른 학습 속도를 달성하면서도, InfTucker의 비선형 모델링 능력을 유지한다.

ABSTRACT

Infinite Tucker Decomposition (InfTucker) and random function prior models, as nonparametric Bayesian models on infinite exchangeable arrays, are more powerful models than widely-used multilinear factorization methods including Tucker and PARAFAC decomposition, (partly) due to their capability of modeling nonlinear relationships between array elements. Despite their great predictive performance and sound theoretical foundations, they cannot handle massive data due to a prohibitively high training time. To overcome this limitation, we present Distributed Infinite Tucker (DINTUCKER), a large-scale nonlinear tensor decomposition algorithm on MAPREDUCE. While maintaining the predictive accuracy of InfTucker, it is scalable on massive data. DINTUCKER is based on a new hierarchical Bayesian model that enables local training of InfTucker on subarrays and information integration from all local training results. We use distributed stochastic gradient descent, coupled with variational inference, to train this model. We apply DINTUCKER to multidimensional arrays with billions of elements from applications in the "Read the Web" project (Carlson et al., 2010) and in information security and compare it with the state-of-the-art large-scale tensor decomposition method, GigaTensor. On both datasets, DINTUCKER achieves significantly higher prediction accuracy with less computational time.

연구 동기 및 목표

• InfTucker와 같은 비모수적 베이지안 텐서 모델의 확장성 문제를 해결한다. 이는 주로 메모리 크기 제한 내에서만 작동한다.
• 단일 기계의 용량을 초월하는 대규모 다차원 배열(예: 500억 개 이상의 원소)에서의 비선형 텐서 분해를 가능하게 한다.
• 하위 배열에서의 국소 학습과 전역 정보 융합을 통합하여 예측 정확도를 유지하면서도 계산 노드 간 선형 확장성을 달성한다.
• 가우시안 프로세스 모델을 MapReduce 프레임워크에 처음으로 도입하여 기존 GP 확장성의 한계를 극복한다.
• 실제 희박하고 대규모 데이터에서 상태 기준 분산 텐서 분해 방법인 GigaTensor보다 예측 정확도와 계산 효율성 측면에서 모두 뛰어나다.

제안 방법

• 하위 배열에서 InfTucker의 국소 학습이 가능하면서도 모든 국소 결과 간 정보 융합이 가능한 계층적 베이지안 모델을 제안한다.
• MapReduce 프레임워크에서 확장성 있고 병렬적인 방식으로 모델을 학습하기 위해 분산 확률적 경사 하강법(SGD)과 변분 추론을 조합한다.
• 전체 텐서를 겹치지 않는 하위 배열(예: 50×50×50)으로 분할하여 분산 처리를 가능하게 하고 노드당 메모리 압박을 줄인다.
• 대표적인 학습을 보장하기 위해 하위 배열에 가중치 기반 샘플링 전략을 적용하여 정보가 많은 또는 비제로가 많은 슬라이스에 더 높은 샘플링 확률을 할당한다.
• GP 공분산의 크론커 구조를 활용하고 데이터의 희박성을 고려하여 국소 추론 시 계산 비용을 감소시킨다.
• 분산 환경에서의 강건성과 일반화 능력을 향상시키기 위해 다수의 하위 배열 샘플에 대해 배깅을 적용하여 예측을 수행한다.

실험 결과

연구 질문

• RQ1 InfTucker와 같은 비모수적 베이지안 텐서 모델이 분산 컴퓨팅을 통해 수십억 개의 원소를 가진 텐서로 확장될 수 있는가?
• RQ2 하위 배열에서의 국소 학습과 전역 정보 융합을 어떻게 조합하여 전체 모델 InfTucker 수준의 예측 정확도를 유지할 수 있는가?
• RQ3 제안된 분산 GP 모델이 GigaTensor와 같은 기존 대규모 텐서 분해 방법보다 예측 정확도와 학습 속도 면에서 모두 뛰어나게 되는가?
• RQ4 분산 GP 학습에서 하위 배열 크기와 통신 비용 사이의 상호 관계는 무엇이며, 이는 전체 성능에 어떻게 영향을 미치는가?
• RQ5 가우시안 프로세스 모델이 대규모 텐서 학습을 위한 MapReduce 프레임워크에 효과적으로 도입될 수 있는가?

주요 결과

• DinTucker는 NELL 지식 기반(689억 개 항목)과 액세스 로그 데이터셋(715억 개 항목)에서 GigaTensor보다 유의미하게 높은 예측 정확도를 달성했으며, 다양한 샘플링 전략에서 일관되게 AUC 향상이 관찰되었다.
• DinTucker의 학습 시간은 계산 노드 수에 따라 거의 선형적으로 증가하여 Hadoop 클러스터에서 뛰어난 수평 확장성을 입증했다.
• 더 복잡한 비선형 모델링을 사용하고도 효율적인 국소 추론과 통신 최적화된 하위 배열 처리 덕분에 GigaTensor보다 학습 시간을 단축시켰다.
• 정보가 많은 슬라이스를 우선시하는 가중치 기반 하위 배열 샘플링 전략이 균일 샘플링보다 유사하거나 더 뛰어난 성능을 보였으며, 대표적인 학습 데이터 선택의 중요성을 확인했다.
• NELL 데이터셋에서 DinTucker는 Gold Standard로 간주되는 InfTucker와 거의 동일한 예측 정확도를 유지하면서도 InfTucker가 처리할 수 없는 데이터 크기의 문제를 해결했다.
• 희박성 0.0001%와 0.003%로 매우 희박한 고차원 배열을 효과적으로 처리했으며, 동일한 계산 예산 하에서 GigaTensor보다 빠르고 정확도가 높았다.