[论文解读] A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction

Sándor Szedmák, Anna Cichońska+3 more|arXiv (Cornell University)|May 4, 2020

Tensor decomposition and applications参考文献 31被引用 4

一句话总结

本文提出了一种潜在张量重构（LTR）方法，用于大规模非线性回归，支持高次多项式与高张量秩，通过逐次、基于梯度的秩一张量分量学习，实现恒定内存复杂度。该方法在时间复杂度线性、准确率优于当前最先进方法（如FM和KRR）的前提下，实现了对大规模数据集上复杂非线性函数的高效、可扩展学习。

ABSTRACT

This paper proposes a novel method for learning highly nonlinear, multivariate functions from examples. Our method takes advantage of the property that continuous functions can be approximated by polynomials, which in turn are representable by tensors. Hence the function learning problem is transformed into a tensor reconstruction problem, an inverse problem of the tensor decomposition. Our method incrementally builds up the unknown tensor from rank-one terms, which lets us control the complexity of the learned model and reduce the chance of overfitting. For learning the models, we present an efficient gradient-based algorithm that can be implemented in linear time in the sample size, order, rank of the tensor and the dimension of the input. In addition to regression, we present extensions to classification, multi-view learning and vector-valued output as well as a multi-layered formulation. The method can work in an online fashion via processing mini-batches of the data with constant memory complexity. Consequently, it can fit into systems equipped only with limited resources such as embedded systems or mobile phones. Our experiments demonstrate a favorable accuracy and running time compared to competing methods.

研究动机与目标

• 解决从大规模数据集中学习高度非线性、多变量函数的挑战，尤其针对高多项式次数与高秩的情况。
• 通过训练期间保持恒定内存复杂度，克服传统基于张量方法在内存与计算上的瓶颈。
• 通过小批量处理实现高效在线学习，适用于移动设备或嵌入式系统等资源受限环境。
• 将多项式模型的适用范围从FM中的对称因子分解扩展至一般非对称非线性函数。
• 在合成数据集与真实世界数据集（包括多标签图像标注任务）上均展示出优异性能。

提出的方法

• 将非线性函数学习重新表述为张量重构问题，利用连续函数可由多项式逼近的性质。
• 通过线性形式将多项式表示为秩一张量的分解：$ f(\mathbf{x}) = \sum_{t=1}^{n_t} \prod_{d=1}^{n_d} \ell_d^{(t)}(\mathbf{x}) $，其中每个 $ \ell_d^{(t)} $ 为线性形式。
• 采用基于梯度的优化算法，逐次学习张量分量，确保在样本数量、次数、秩与输入维度上均具有线性时间复杂度。
• 以小批量方式实现该方法，以维持恒定内存复杂度，从而支持在线与可扩展学习。
• 通过适当的损失函数与张量结构，将框架扩展至分类、多视图学习与向量值输出任务。
• 集成多层结构，以建模分层非线性交互关系，类似于深度神经网络，但具有代数张量结构。

实验结果

研究问题

• RQ1 基于张量的方法是否能在学习高次、高秩非线性函数时实现恒定内存复杂度？
• RQ2 所提出的潜在张量重构方法在准确率与效率方面，相较于因子分解机（FM）与核岭回归（KRR）等现有方法表现如何？
• RQ3 该方法在多项式次数上能多大程度地扩展至超过一千万样本的数据集，同时保持多项式次数的线性时间复杂度？
• RQ4 该方法在非对称、复杂非线性函数上是否优于对称多项式模型（如FM）？
• RQ5 该方法能否有效应用于真实世界中的高稀疏多标签预测任务，如图像标注？

主要发现

• 在高噪声水平、高次多项式与多变量数的合成数据上，LTR在预测准确率上显著优于因子分解机（FM）与TFFM。
• 在小规模数据集（5,000个样本）上，由于参数空间过大，LTR与TFFM的性能低于核岭回归（KRR），但LTR在大规模数据集上展现出更优的可扩展性。
• 实验表明，LTR在多项式次数上具有线性时间复杂度，当样本数达1000万时，其性能优于KRR，后者表现出显著更高的时间复杂度。
• 在真实世界多标签图像数据集（Corel5k、Espgame、Iaprtc12）上，LTR分别取得42.7%、27.2%与37.0%的F1分数，优于先前方法如MBRM、TagProp与FastTag。
• 该方法在训练过程中保持恒定内存复杂度，使其适用于内存受限系统，如移动设备或嵌入式系统。
• LTR算法训练时间具有竞争力，即使在大规模数据（10^7个样本）下，执行时间仍与多项式次数呈线性关系，而KRR则表现出较差的可扩展性。