[论文解读] Fast and Accurate Tensor Completion with Tensor Trains: A System Identification Approach.

Ching Yun Ko, Kim Batselier+2 more|arXiv (Cornell University)|Apr 17, 2018

Tensor decomposition and applications被引用 7

一句话总结

该论文通过将张量补全问题建模为系统辨识问题，提出了一种快速且准确的方法，采用张量列车（tensor train）格式，并通过交替线性算法迭代优化低秩核心。该方法在保持相近准确率的同时，相较于最先进方法实现了高达23倍的加速。

ABSTRACT

We propose a novel tensor completion approach by equating it to a system identification task. The key is to regard the coordinates and values of the known entries as inputs and outputs, respectively. By assuming a tensor train format initialized with low-rank tensor cores, the latter are iteratively identified via a simple alternating linear scheme to reduce residuals. Experiments verify the superiority of the proposed scheme in terms of both speed and accuracy, where a speedup of up to 23$ imes$ is observed compared to state-of-the-art tensor completion methods at a similar accuracy.

研究动机与目标

• 为解决现有张量补全方法在大规模张量上计算缓慢的挑战。
• 通过利用系统辨识原理，提升张量补全的效率和准确性。
• 开发一种在张量规模和稀疏性增加时仍能良好扩展，同时保持低秩结构的方法。
• 在不牺牲张量补全任务重建质量的前提下，显著减少计算时间。

提出的方法

• 该方法将已知张量条目坐标视为输入，其值视为输出，将问题建模为系统辨识任务。
• 假设张量列车（TT）格式，以低秩张量核心作为底层结构。
• 通过交替线性算法迭代更新张量核心，以最小化预测值与已知值之间的残差误差。
• 使用低秩近似对TT格式进行初始化，以确保快速收敛。
• 算法在固定其他核心的同时，交替优化单个核心，将整体优化问题简化为一系列线性子问题。

实验结果

研究问题

• RQ1 张量补全能否被有效重述为系统辨识问题？
• RQ2 所提出的系统辨识方法在速度和准确性上与现有张量补全方法相比如何？
• RQ3 结合迭代核心优化的张量列车格式在多大程度上提升了计算效率？
• RQ4 该方法在大规模或稀疏张量上是否能在实现显著加速的同时保持高准确性？

主要发现

• 所提方法在相似准确率水平下，相较于最先进张量补全方法，最高可实现23倍加速。
• 该方法在大规模和稀疏张量数据集上仍能保持高重建准确性。
• 用于核心优化的交替线性算法收敛迅速，显著贡献于整体性能提升。
• 张量列车格式的使用实现了高效的表示与计算，尤其适用于高阶张量。