[论文解读] A nonnegativity preserving algorithm for multilinear systems with nonsingular M-tensors

Xueli Bai, Hongjin He+2 more|arXiv (Cornell University)|Nov 25, 2018

Tensor decomposition and applications参考文献 23被引用 4

一句话总结

本文提出一种牛顿型算法——非负保持算法（NPA），用于求解具有非奇异M-张量和非负右端项的多重线性系统。该方法确保所有迭代过程保持非负，并收敛至非负解，在右端项包含零值时优于现有求解器，此时其他方法可能无法保持非负性或寻找稀疏解。

ABSTRACT

This paper addresses multilinear systems of equations which arise in various applications such as data mining and numerical partial differential equations. When the multilinear system under consideration involves a nonsingular $\mathcal{M}$-tensor and a nonnegative right-hand side vector, it may have multiple nonnegative solutions. In this paper, we propose an algorithm which can always preserve the nonnegativity of solutions. Theoretically, we show that the sequence generated by the proposed algorithm is a nonnegative decreasing sequence and converges to a nonnegative solution of the system. Numerical results further support the novelty of the proposed method. Particularly, when some elements of the right-hand side vector are zeros, the proposed algorithm works well while existing state-of-the-art solvers may not produce a nonnegative solution.

研究动机与目标

• 解决具有非奇异M-张量和非负右端向量的多重线性系统，此类系统可能存在多个非负解。
• 开发一种在迭代过程中保持非负性的算法，确保所有迭代点保持非负。
• 为现有方法无法产生非负解的情况（尤其是右端项包含零值时）提供可靠的求解器。
• 支持在数据挖掘和数值PDE中出现的稀疏非负张量方程的算法设计。

提出的方法

• 提出一种牛顿型算法（NPA），通过修改标准牛顿步长以强制迭代点保持非负。
• 采用线搜索策略，确保步长在保持非负性的同时减小残差。
• 实施一种投影机制，在每次更新后将负分量重置为零，以保持非负性。
• 该算法生成一个非负且递减的解范数序列，已证明其收敛至非负解。
• 采用基于残差的停止准则，容差为 $10^{-8}$，若分量小于 $10^{-5}$ 则定义为零。
• 将该方法应用于小规模和大规模问题，包括具有60%零值的稀疏张量以及通过 `sprand` 生成的非负右端项。

实验结果

研究问题

• RQ1 能否设计一种牛顿型算法，在求解具有非奇异M-张量和非负右端项的多重线性系统时，保持迭代点的非负性？
• RQ2 当存在多个非负解时，所提出的算法是否仍能收敛至非负解？
• RQ3 当右端向量包含零值时，该算法与最先进的求解器（如HM、QCA和NLSQ）相比表现如何？
• RQ4 在其他方法仅产生正解的情况下，该算法是否能可靠地找到稀疏非负解？
• RQ5 该方法在大规模稀疏张量系统中的计算效率和鲁棒性如何？

主要发现

• 所提出的NPA算法生成一个非负且递减的序列，收敛至多重线性系统的非负解。
• 数值实验表明，当右端向量包含零值时，NPA能成功找到非负解，而QCA在此类情况下会失效。
• NPA能产生稀疏非负解，如收敛曲线和解的稀疏性分析所示，其在保持稀疏性方面优于HM和NLSQ。
• 在 $ (m,n) = (3,200) $ 情况下，尽管NPA需要更多迭代次数，但其成功率更高且计算时间更短，优于HM和NLSQ。
• 该算法在100组随机测试实例（包含稀疏张量和非负右端项）中表现稳健，始终返回非负解。
• 在所测试的方法中，NPA是唯一一种在右端项为非负但非严格正时，能可靠产生非负且稀疏解的方法。