[论文解读] Inexact Newton Method for M-Tensor Equations

Donghui Li, Hong-Bo Guan+1 more|arXiv (Cornell University)|Jul 27, 2020

Tensor decomposition and applications参考文献 21被引用 4

一句话总结

本文提出了一种求解M-张量方程的不精确牛顿法，通过维数约简技术，当常数项非负时，将原问题转化为低维问题。该方法实现了全局收敛且具有二次收敛速率，并通过在不同张量规模和阶数上的大量数值实验验证了其在迭代次数和CPU时间方面优于现有方法（如QCA）。

ABSTRACT

We first investigate properties of M-tensor equations. In particular, we show that if the constant term of the equation is nonnegative, then finding a nonnegative solution of the equation can be done by finding a positive solution of a lower dimensional M-tensor equation. We then propose an inexact Newton method to find a positive solution to the lower dimensional equation and establish its global convergence. We also show that the convergence rate of the method is quadratic. At last, we do numerical experiments to test the proposed Newton method. The results show that the proposed Newton method has a very good numerical performance.

研究动机与目标

• 研究M-张量方程的结构性质，特别是非负解的存在性与计算方法。
• 针对由维数约简产生的低维M-张量方程，开发一种不精确牛顿法。
• 为所提出的不精确牛顿法建立全局收敛性和二次收敛速率。
• 通过在不同阶数和规模的张量上进行综合实验，数值验证该方法的效率与鲁棒性。
• 在迭代次数和CPU时间方面，将所提方法与文献[13]中的QCA方法进行比较。

提出的方法

• 当常数项b非负时，该方法将原M-张量方程约简为低维问题，从而高效求解正解。
• 对约简后的方程应用不精确牛顿迭代，其中牛顿步长以相对误差容差近似计算。
• 通过设置σ = 0.1和ρ = 0.5的保护性Armijo线搜索，确保算法全局收敛。
• 引入正则化牛顿变体以提高稳定性，尤其在b含有零分量时，使用正则化参数并调整线搜索策略。
• 该方法利用M-张量结构，确保迭代过程中解始终保持非负。
• 通过每组(m,n)尺寸下100组随机张量与向量对进行数值比较，其中b从(0,1)上的均匀分布中抽取，或修改为包含零分量。

实验结果

研究问题

• RQ1 当b ≥ 0时，非负M-张量方程的解是否可约简为求解低维M-张量方程？
• RQ2 针对约简后问题的不精确牛顿法是否能实现全局收敛和二次收敛速率？
• RQ3 在迭代次数和CPU时间方面，不精确牛顿法与QCA方法相比表现如何？
• RQ4 当b含有零分量时，正则化牛顿法是否能提升数值稳定性？
• RQ5 所提方法在不同张量阶数(m)和维度(n)下的可扩展性如何？

主要发现

• 不精确牛顿法在求解约简后的M-张量方程时，实现了全局收敛和二次收敛速率。
• 在所有测试问题中，不精确牛顿法的平均迭代次数比QCA方法减少90%或以上，且所有规模下的TR值均低于90%。
• 当b ∈ ℝ₊ⁿ时，不精确牛顿法在CPU时间上最多减少88.2%（对于(3,500)），在迭代次数上最多减少96.3%（对于(5,30)），相比QCA方法。
• 正则化牛顿法在迭代次数和CPU时间方面均优于QCA方法，TR值范围为60%至99.6%，IR范围为49.4%至95.7%。
• 对于b中含零分量的问题，正则化牛顿法表现出显著改进，某些情况下TR值低至14.2%，IR低至8.3%。
• 尽管QCA方法在理论层面未保证对b ∈ ℝ₊ⁿ的收敛性，但在所有测试案例中仍成功找到解，但始终被所提方法超越。