[论文解读] Optimal rates of convergence of matrices with applications

Heinz H. Bauschke, Yunier Bello-Cruz+3 more|arXiv (Cornell University)|Jul 2, 2014

Matrix Theory and Algorithms参考文献 24被引用 10

一句话总结

本文完整刻画了矩阵幂以最优线性速率收敛的条件，表明当所有模长次大的特征值均为半单时，最优收敛性恰好成立。该结果被应用于子空间交集上的松弛交替投影和广义Douglas-Rachford方法，揭示部分松弛可实现最快收敛速率，数值实验通过Friedrichs角和中位数迭代次数予以验证。

ABSTRACT

We present a systematic study on the linear convergence rates of the powers of (real or complex) matrices. We derive a characterization when the optimal convergence rate is attained. This characterization is given in terms of semi-simpleness of all eigenvalues having the second-largest modulus after 1. We also provide applications of our general results to analyze the optimal convergence rates for several relaxed alternating projection methods and the generalized Douglas-Rachford splitting methods for finding the projection on the intersection of two subspaces. Numerical experiments confirm our convergence analysis.

研究动机与目标

• 确定矩阵幂以最优线性速率收敛的充要条件。
• 分析子空间上松弛交替投影与广义Douglas-Rachford方法的收敛行为。
• 识别实际中收敛最快的算法变体。
• 为迭代投影方法中矩阵谱性质与收敛速率之间的理论联系提供基础。

提出的方法

• 基于模长次大的特征值的半单性，推导出最优收敛速率的刻画。
• 利用谱半径公式与矩阵范数分析，对收敛速率进行上界估计。
• 将理论应用于两个子空间上的松弛交替投影与广义Douglas-Rachford方法。
• 引入非线性加速映射，以提升交替投影方法的收敛速度。
• 采用Friedrichs角与子空间之间的主角作为几何参数，量化收敛行为。
• 使用Julia与Gnuplot进行数值实验，比较不同角度下各方法的迭代次数。

实验结果

研究问题

• RQ1 在何种条件下，矩阵幂能以最优线性速率收敛？
• RQ2 次主导特征值的半单性如何影响迭代投影方法的收敛速率？
• RQ3 松弛交替投影或广义Douglas-Rachford方法的哪种变体收敛最快？
• RQ4 Friedrichs角在决定这些方法收敛速度方面起什么作用？
• RQ5 能否设计一种非线性映射以加速交替投影方法的收敛？

主要发现

• 当且仅当所有模长次大的特征值均为半单时，矩阵幂才能实现最优线性收敛速率。
• 部分松弛交替投影方法及其非线性变体在所研究方法中收敛速率最小。
• 数值结果表明，当Friedrichs角超过0.02时，$ B_T $ 是最快的方法，而DR在极小角度下表现最佳。
• 对于 $ W_1 $，$ B_T $ 的中位数迭代次数为1139，显著低于MAP的4058.5，表明其性能更优。
• $ B_T $ 在所有类别中的平均迭代次数为6002.5，但标准差高达19437.1，表明性能波动较大。
• 广义Douglas-Rachford方法（DR）在所有类别中均优于MAP，$ W_1 $ 的平均迭代次数为1395.2，远低于MAP的12683。