[论文解读] Distributed Flexible Nonlinear Tensor Factorization

Shandian Zhe, Kai Zhang+5 more|ArXiv.org|Apr 27, 2016

Tensor decomposition and applications参考文献 24被引用 3

一句话总结

该论文提出了一种分布式的、灵活的非线性张量分解模型，通过使用基于核函数的协方差结构的高斯过程先验，避免了计算成本高昂的克罗内克积结构，从而能够任意选择有意义的张量条目用于训练。该模型引入了一个紧致的变分证据下界（ELBO），支持在无键值对的MapReduce框架中实现完全解耦、并行推理，实现在大规模稀疏张量上的最先进预测性能与近线性可扩展性，在点击率（CTR）预测任务中相比逻辑回归和SVM提升了20%的性能。

ABSTRACT

Tensor factorization is a powerful tool to analyse multi-way data. Compared with traditional multi-linear methods, nonlinear tensor factorization models are capable of capturing more complex relationships in the data. However, they are computationally expensive and may suffer severe learning bias in case of extreme data sparsity. To overcome these limitations, in this paper we propose a distributed, flexible nonlinear tensor factorization model. Our model can effectively avoid the expensive computations and structural restrictions of the Kronecker-product in existing TGP formulations, allowing an arbitrary subset of tensorial entries to be selected to contribute to the training. At the same time, we derive a tractable and tight variational evidence lower bound (ELBO) that enables highly decoupled, parallel computations and high-quality inference. Based on the new bound, we develop a distributed inference algorithm in the MapReduce framework, which is key-value-free and can fully exploit the memory cache mechanism in fast MapReduce systems such as SPARK. Experimental results fully demonstrate the advantages of our method over several state-of-the-art approaches, in terms of both predictive performance and computational efficiency. Moreover, our approach shows a promising potential in the application of Click-Through-Rate (CTR) prediction for online advertising.

研究动机与目标

• 解决现有非线性张量分解模型中因全张量建模和克罗内克积结构导致的计算低效与学习偏差问题。
• 通过允许任意子集的张量条目（尤其是有意义的非零条目和平衡的零条目）参与学习，实现灵活的训练机制。
• 设计一种可处理的、紧致的变分证据下界（ELBO），支持无需顺序E-M更新的完全并行、解耦推理。
• 在MapReduce框架中设计一种无键值对的分布式推理算法，利用内存缓存机制，避免昂贵的数据洗牌操作。
• 在预测精度与计算效率方面均实现卓越性能，尤其在大规模稀疏张量应用（如CTR预测）中表现突出。

提出的方法

• 提出一种基于张量条目上高斯过程先验的非线性张量分解模型，输入通过拼接各维度的潜在因子构成。
• 采用核函数建模复杂非线性交互关系，无需依赖克罗内克积协方差结构。
• 通过函数导数与共轭凸分析推导出紧致的变分ELBO，涵盖最优变分后验分布，支持高效并行优化。
• 在MapReduce框架中设计一种分布式推理算法，仅传输全局梯度向量，消除键值对，降低I/O开销。
• 利用SPARK系统充分调用内存缓存机制，避免因数据洗牌导致的磁盘I/O瓶颈。
• 通过构建用户、广告、发布者和页面区域交互的四维张量，将模型应用于CTR预测任务，对点击与非点击样本进行平衡采样。

实验结果

研究问题

• RQ1 非线性张量分解模型能否在避免克罗内克积协方差计算负担的同时，保持高预测精度？
• RQ2 如何设计一种灵活的训练机制，仅包含有意义的张量条目，从而在稀疏数据中减少学习偏差？
• RQ3 能否推导出一种紧致且可处理的变分下界，以实现无需顺序E-M更新的完全并行、解耦推理？
• RQ4 无键值对的MapReduce算法在分布式张量分解中能在多大程度上提升可扩展性并减少I/O开销？
• RQ5 与最先进方法相比，该方法在真实世界稀疏张量任务（如CTR预测）中是否实现了更优性能？

主要发现

• 在ACC、DBLP和NELL三个基准数据集上，该模型在预测精度方面均优于GigaTensor、DinTucker和InfTuckerEx，在CTR预测任务中平均AUC提升达20.7%。
• 在DBLP数据集上，模型每轮迭代的平均运行时间为1.45分钟，显著快于GigaTensor（15.4分钟）和DinTucker（20.5分钟）。
• 该模型在计算节点间展现出近线性可扩展性，得益于无键值对的梯度传输与SPARK中内存缓存机制的利用，显著提升了运行速度。
• 在CTR预测任务中，即使未引入用户画像或广告属性等辅助特征，该模型在AUC上仍比逻辑回归和线性SVM高出20%。
• 紧致ELBO的推导使得无需顺序E-M更新即可实现高质量推理，支持在分布式节点上高效并行优化。
• 该方法通过有选择地包含非零条目与平衡的零条目，有效缓解了极端数据稀疏性下的学习偏差。