[论文解读] A New Sampling Technique for Tensors

Srinadh Bhojanapalli, Sujay Sanghavi|arXiv (Cornell University)|Feb 17, 2015

Tensor decomposition and applications参考文献 39被引用 27

一句话总结

本论文提出了一种针对三阶张量的新型有偏采样技术，显著减少了实现精确张量近似、稀疏化、补全和分解所需的元素数量。通过利用基于张量结构的数据相关采样分布，该方法在仅需 O(n^{1.5}/ε²) 个样本的情况下实现谱近似——相比均匀采样效率大幅提升，且仅需对数据进行两次遍历，支持快速并行计算，适用于机器学习应用。

ABSTRACT

In this paper we propose new techniques to sample arbitrary third-order tensors, with an objective of speeding up tensor algorithms that have recently gained popularity in machine learning. Our main contribution is a new way to select, in a biased random way, only $O(n^{1.5}/ε^2)$ of the possible $n^3$ elements while still achieving each of the three goals: \\ {\em (a) tensor sparsification}: for a tensor that has to be formed from arbitrary samples, compute very few elements to get a good spectral approximation, and for arbitrary orthogonal tensors {\em (b) tensor completion:} recover an exactly low-rank tensor from a small number of samples via alternating least squares, or {\em (c) tensor factorization:} approximating factors of a low-rank tensor corrupted by noise. \\ Our sampling can be used along with existing tensor-based algorithms to speed them up, removing the computational bottleneck in these methods.

研究动机与目标

• 为解决张量算法中的计算瓶颈，减少需要计算和存储的张量元素数量。
• 在无需相干性假设的前提下，实现由任意采样构成的张量的高效谱近似。
• 通过数据自适应采样策略，从最少数量的样本中实现精确的低秩张量恢复。
• 通过两遍采样与补全框架，加速噪声环境下的近似张量分解。
• 开发一种计算高效且可并行化的算法，适用于大规模机器学习应用。

提出的方法

• 基于输入向量的 ℓ³ 范数，提出一种数据相关、有偏的随机采样分布，相较于均匀采样提高了采样效率。
• 采用两遍算法：第一遍计算采样概率，第二遍采样并计算张量元素，实现 O(nnz(X) + p*m*log(n)) 的时间复杂度。
• 应用带定制采样权重的加权交替最小二乘法（WALS），以实现快速稳定的张量补全与分解。
• 推导出采样复杂度边界，稀疏化时为 O(n^{1.5}/ε²)，精确补全时为 O((∑‖U*ᵢ‖^{3/2})² n r³ κ⁴ log²(n))，其中 κ 为条件数。
• 提出一种新颖的采样分布，记为 'Tensor L.S.'，可自适应于底层张量结构，在高动态范围或有偏因子分布下仍保持性能。
• 通过面内 ℓ² 范数实现谱范数近似，以在实践中评估误差，因为精确的谱范数计算是 NP-难问题。

实验结果

研究问题

• RQ1 有偏采样策略是否能在不依赖相干性假设的前提下，减少实现良好谱近似的张量元素数量？
• RQ2 当张量具有高动态范围或有偏条目时，是否能以少于均匀采样数量的样本实现精确的低秩张量恢复？
• RQ3 两遍采样与补全框架是否能在存在噪声的情况下，实现快速、并行且准确的张量分解？
• RQ4 在误差和采样复杂度方面，所提出的采样分布与均匀采样、ℓ² 采样或 ℓ³ 之和采样相比表现如何？
• RQ5 对于正交张量，使用数据自适应采样策略实现精确恢复所需的理论采样复杂度是多少？

主要发现

• 所提出的 Tensor L.S. 采样分布在所有测试分布中均实现了最低的谱近似误差，尤其在有偏或重尾张量结构下表现更优。
• 在张量稀疏化中，该方法仅需 O(n^{1.5} log³(n)/ε²) 个样本，即可在高概率下将谱误差控制在 ε√n × (∑‖Xⁱ‖³) 以内。
• 在张量补全中，该方法在不同有偏程度（由幂律参数 a 控制）下，均能从相近数量的样本中恢复出秩为 5 的正交张量，而均匀采样及其他分布则在有偏程度增加时需要显著更多的样本。
• 在噪声张量分解中，即使噪声的 Frobenius 范数增加，该算法在因子恢复中仍表现出比其他分布更低的 RMSE。
• 两遍框架实现了 O(mr²) 的补全复杂度，其中 m = O(n^{1.5}/ε² r³ κ⁴ log²(n))，并以高概率保证恢复误差不超过 12‖ℰ‖/σ*min + ε‖ℰ‖_F/σ*min。
• 数值模拟结果证实，所提出的采样策略在所有三种场景（稀疏化、补全和分解）中均优于均匀采样、ℓ² 采样和 ℓ³ 之和采样。