[논문 리뷰] Distributed Flexible Nonlinear Tensor Factorization

Shandian Zhe, Kai Zhang외 5명|ArXiv.org|2016. 04. 27.

Tensor decomposition and applications참고 문헌 24인용 수 3

한 줄 요약

이 논문은 텐서의 전체 구조를 모델링하지 않고, 커널 기반 공분산을 갖는 가우시안 프로세스 사전분포를 사용함으로써 계산 비용이 높은 크로네커乘법 구조를 피하는 분산형으로 유연한 비선형 텐서 분해 모델을 제안한다. 이는 학습에 의미 있는 텐서 원소들을 임의로 선택할 수 있도록 해주며, 예측 성능이 뛰어나고 대규모 희소 텐서에서 거의 선형적 확장성을 보이며, 로지스틱 회귀 및 SVM보다 CTR 예측에서 20% 향상된 성능을 기록한다.

ABSTRACT

Tensor factorization is a powerful tool to analyse multi-way data. Compared with traditional multi-linear methods, nonlinear tensor factorization models are capable of capturing more complex relationships in the data. However, they are computationally expensive and may suffer severe learning bias in case of extreme data sparsity. To overcome these limitations, in this paper we propose a distributed, flexible nonlinear tensor factorization model. Our model can effectively avoid the expensive computations and structural restrictions of the Kronecker-product in existing TGP formulations, allowing an arbitrary subset of tensorial entries to be selected to contribute to the training. At the same time, we derive a tractable and tight variational evidence lower bound (ELBO) that enables highly decoupled, parallel computations and high-quality inference. Based on the new bound, we develop a distributed inference algorithm in the MapReduce framework, which is key-value-free and can fully exploit the memory cache mechanism in fast MapReduce systems such as SPARK. Experimental results fully demonstrate the advantages of our method over several state-of-the-art approaches, in terms of both predictive performance and computational efficiency. Moreover, our approach shows a promising potential in the application of Click-Through-Rate (CTR) prediction for online advertising.

연구 동기 및 목표

• 기존의 비선형 텐서 분해 모델에서 전체 텐서 모델링과 크로네커乘법 구조로 인한 계산 비효율성과 학습 편향 문제를 해결하기 위해.
• 특히 의미 있는 비영 원소와 균형 잡힌 영 원소를 포함한 임의의 텐서 원소 부분집합을 학습에 활용할 수 있도록, 학습의 유연성을 보장하기 위해.
• 순차적인 E-M 업데이트 없이도 완전히 분리되고 병렬적으로 추론할 수 있도록, 계산이 용이하고 날것의 변분 증거 하한값(ELBO)을 도출하기 위해.
• 키-밸류 쌍을 제거하고 데이터 재정렬 비용을 줄이기 위해 메모리 캐싱을 활용하는 분산형 추론 알고리즘을 MapReduce 프레임워크에 설계하기 위해.
• 특히 CTR 예측과 같은 대규모 희소 텐서 응용 분야에서 예측 정확도와 계산 효율성 측면에서 최첨단 성능을 입증하기 위해.

제안 방법

• 각 모드의 잠재 요소를 연결하여 구성된 입력을 사용하여, 텐서 원소에 대한 가우시안 프로세스 사전분포를 적용한 비선형 텐서 분해 모델을 제안한다.
• 크로네커乘법 공분산 구조가 필요 없도록, 복잡한 비선형 상호작용을 모델링하기 위해 커널 함수를 활용한다.
• 기능 미분과 볼록 쌍대 함수를 사용하여 날것의 변분 ELBO를 유도하며, 최적의 변분 사후분포를 포함하고 효율적이고 병렬적인 최적화를 가능하게 한다.
• 키-밸류 쌍을 생성하지 않고 전역 기울기 벡터만 전달하는 MapReduce 프레임워크 내 분산 추론 알고리즘을 개발한다. 이는 I/O 오버헤드를 감소시킨다.
• SPARK 시스템을 활용하여 메모리 캐시 메커니즘을 최대한 활용함으로써, 데이터 재정렬로 인한 디스크 I/O 병목 현상을 방지한다.
• 사용자, 광고, 퍼블리셔, 페이지 섹션 간 상호작용을 기반으로 네 모드 텐서를 구성하여 CTR 예측에 모델을 적용하며, 클릭과 비클릭 사례를 균형 있게 샘플링한다.

실험 결과

연구 질문

• RQ1 비선형 텐서 분해 모델은 크로네커乘법 공분산의 계산 부담을 피하면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ2 희소 데이터에서 학습 편향을 줄이기 위해 의미 있는 텐서 원소들만 포함하는, 얼마나 민감한 학습 메커니즘이 설계될 수 있는가?
• RQ3 순차적인 E-M 업데이트 없이도 완전히 병렬화되고 분리된 추론을 가능하게 하는, 날것의 계산이 용이한 변분 하한값을 도출할 수 있는가?
• RQ4 키-밸류 없는 MapReduce 알고리즘이 분산 텐서 분해에서 확장성 향상과 I/O 오버헤드 감소에 얼마나 기여하는가?
• RQ5 제안된 방법은 최첨단 기술 대비 실제 희소 텐서 작업(예: CTR 예측)에서 뛰어난 성능을 발휘하는가?

주요 결과

• 제안된 모델은 ACC, DBLP, NELL 세 가지 벤치마크 데이터셋에서 GigaTensor, DinTucker, InfTuckerEx를 모두 능가하는 예측 정확도를 기록했으며, CTR 예측에서 평균 AUC가 20.7% 향상되었다.
• DBLP 데이터셋에서 모델의 평균 반복 실행 시간은 1.45분으로, GigaTensor(15.4분)와 DinTucker(20.5분)보다 뚜렷하게 빠르게 나타났다.
• 키-밸류 없는 기울기 전송과 SPARK 내 메모리 캐시 활용 덕분에, 계산 노드 간 거의 선형적 확장성이 확보되었으며, 빠른 성능 향상이 관찰되었다.
• 사용자 프로필이나 광고 속성과 같은 보조 특징을 포함하지 않더라도, 로지스틱 회귀 및 선형 SVM 대비 CTR 예측에서 AUC가 20% 향상되었다.
• 날것의 ELBO 유도 덕분에 순차적인 E-M 업데이트 없이도 고품질의 추론이 가능했으며, 분산 노드 간 효율적이고 병렬적인 최적화를 지원했다.
• 비영 원소와 균형 잡힌 영 원소를 학습에 선택적으로 포함시킴으로써, 극도로 희소한 데이터에서의 학습 편향 문제를 효과적으로 완화했다.