[论文解读] An algorithm for online tensor prediction

John Pothier, Josh Girson+1 more|arXiv (Cornell University)|Jul 28, 2015

Tensor decomposition and applications参考文献 13被引用 3

一句话总结

本文提出了一种基于张量-SVD和冯·诺依曼散度推广的在线张量预测算法，采用张量指数梯度下降法，在顺序且非自适应观测下实现了三维张量补全的可证明后悔界。该方法实现了低秩张量学习并具备理论性能保证，在合成社交网络评分数据上的表现优于现有在线凸张量补全方法。

ABSTRACT

We present a new method for online prediction and learning of tensors ($N$-way arrays, $N >2$) from sequential measurements. We focus on the specific case of 3-D tensors and exploit a recently developed framework of structured tensor decompositions proposed in [1]. In this framework it is possible to treat 3-D tensors as linear operators and appropriately generalize notions of rank and positive definiteness to tensors in a natural way. Using these notions we propose a generalization of the matrix exponentiated gradient descent algorithm [2] to a tensor exponentiated gradient descent algorithm using an extension of the notion of von-Neumann divergence to tensors. Then following a similar construction as in [3], we exploit this algorithm to propose an online algorithm for learning and prediction of tensors with provable regret guarantees. Simulations results are presented on semi-synthetic data sets of ratings evolving in time under local influence over a social network. The result indicate superior performance compared to other (online) convex tensor completion methods.

研究动机与目标

• 解决从顺序且非自适应测量中进行在线三维张量预测并提供性能保证的问题。
• 通过结构化张量分解和广义散度概念，将矩阵指数梯度下降法推广至张量。
• 为在凸损失函数下具有有界利普希茨连续性的低秩张量在线学习提供一个框架。
• 基于张量-SVD和分块对角矩阵表示，建立在线张量预测的理论后悔界。
• 在半合成社交网络评分数据上，与现有在线凸张量补全方法相比，表现出更优的性能。

提出的方法

• 通过在张量-SVD和分块对角矩阵表示框架下推广矩阵指数梯度方法，提出一种张量指数梯度下降（TEG）算法。
• 基于张量-SVD框架，定义一种张量专用的冯·诺依曼散度，实现在张量空间上的凸优化。
• 将每个张量表示为循环群上的群环上的线性算子，从而实现结构化的低秩逼近。
• 通过损失函数的线性近似来控制后悔，将非线性的在线张量问题转化为线性问题。
• 应用推论VII.1，推导出依赖于损失算子的迹和张量秩参数的后悔界。
• 采用基于时间平方根倒数和张量复杂度参数的步长规则，以最小化后悔。

实验结果

研究问题

• RQ1 能否设计一种在顺序且非自适应观测下具有可证明收敛性的在线张量预测算法？
• RQ2 如何通过结构化张量分解将矩阵指数梯度方法推广至张量？
• RQ3 在优化目的下，冯·诺依曼散度和秩在三维张量中的适当推广是什么？
• RQ4 能否以张量秩和损失函数性质来界定在线张量预测的后悔？
• RQ5 在实际应用中，所提方法与现有在线凸张量补全技术相比表现如何？

主要发现

• 所提出的在线张量指数梯度（OTEG）算法的后悔界为 $ 2G\big(T\beta(k)\big)^{1/2} $，其中 $ G $ 为梯度有界值，$ T $ 为时间。
• 后悔界随时间的平方根和张量秩与损失复杂度参数乘积的增长而增长，表明其为次线性增长。
• 在具有局部影响模式的半合成社交网络评分数据上，该算法优于其他在线凸张量补全方法。
• 理论保证在条件 $ \eta \|\text{blkdiag}(\widehat{\bm{\mathscr{L}}}_t)\| \leq 1 $ 下成立，该条件对充分大的 $ T $ 成立。
• 对于较小的 $ T $，后悔仍被有界于 $ 2GT $，由于 $ \|\beta\|_1 \geq 1 $ 的归一化，该值仍在推导的边界范围内。
• 该方法利用张量-SVD将张量表示为群环上的线性算子，从而实现高效且结构化的低秩学习。