[论文解读] Randomized Iterative Methods with Alternating Projections

Hua Xiang, Lin Zhang|arXiv (Cornell University)|Aug 31, 2017

Advanced Optimization Algorithms Research参考文献 12被引用 11

一句话总结

本文通过利用矩阵积分的交替投影方法，提出了一套统一框架，涵盖16种随机迭代方法，包括Kaczmarz和坐标下降法。该框架在无需假设矩阵正定性的通用条件下建立了收敛性，并通过数值验证表明，采用块采样和高斯采样策略可实现更快的收敛速度。

ABSTRACT

We use a unified framework to summarize sixteen randomized iterative methods including Kaczmarz method, coordinate descent method, etc. Some new iterative schemes are given as well. Some relationships with extsc{mg} and extsc{ddm} are also discussed. We analyze the convergence properties of the iterative schemes by using the matrix integrals associated with alternating projectors, and demonstrate the convergence behaviors of the randomized iterative methods by numerical examples.

研究动机与目标

• 将Kaczmarz和坐标下降法等多样化的随机迭代方法统一到一个理论框架之下。
• 利用与交替投影相关的矩阵积分分析这些方法的收敛性，且不假设系数矩阵正定。
• 推导出新的迭代格式，并将其与现有方法（如mg和ddm）关联起来。
• 通过数值示例展示该框架的有效性，比较离散采样与高斯采样策略的性能。

提出的方法

• 该框架使用两个满列秩矩阵 $Y \in \mathbb{R}^{m \times l}$ 和 $Z \in \mathbb{R}^{n \times l}$，其中 $l \ll \min\{m,n\}$，定义广义迭代格式 $x^{k+1} = x^k + \Xi(b - Ax^k)$，其中 $\Xi = Z(Y^T A Z)^\dagger Y^T$。
• 证明迭代矩阵 $T = I - \Xi A$ 为投影算子，并在非平稳交替投影下通过误差传播 $e^{k+1} = T_k \cdots T_0 e^0$ 分析收敛性。
• 定义三种类型：Type-k（行作用，如Kaczmarz）、Type-c（列作用，如坐标下降）和Type-s（对称情形），通过选择 $Y$ 或 $Z$ 恢复已知方法。
• 该方法融合了压缩与优化视角：根据类型，$x^{k+1}$ 最小化 $\|x - x^k\|_{G^{-1}}$ 满足 $Y^T A x = Y^T b$，或最小化 $\|x - x^*\|_{\widehat{G}}$ 满足 $x = x^k + Z y$。
• 通过矩阵积分在不假设正定性的条件下证明收敛性，扩展了先前结果。
• 数值实验比较了离散采样（无放回均匀采样）与高斯采样（标准正态分布条目），测试矩阵使用 MATLAB 的稀疏随机生成器。

实验结果

研究问题

• RQ1 能否建立一个统一框架，涵盖如Kaczmarz和坐标下降法等多样化的随机迭代方法？
• RQ2 交替投影与矩阵积分如何在不假设系数矩阵正定性的条件下，促进收敛性证明？
• RQ3 采样策略（离散均匀采样 vs. 高斯采样）对收敛速度和计算时间有何影响？
• RQ4 与单样本版本相比，块版本在迭代次数和实际运行时间方面表现如何？
• RQ5 能否在该框架内推导出新的迭代格式？它们与现有方法（如mg和ddm）有何关系？

主要发现

• 块版本（K3–K4, C3–C4）尽管每步计算成本更高，但因利用高效的矩阵-矩阵运算和 MATLAB 中的优化线性求解器，显著减少了迭代次数。
• 对于随机矩阵，高斯采样方法（K2, C2）在迭代次数上快于离散采样方法（K1, C1），尽管每步开销更大。
• 对于稀疏非对称系统（sprandn），高斯采样（K2, C2）所需迭代次数和时间均多于离散采样，表明其对矩阵结构敏感。
• 对于对称正定系统（sprandsym），高斯采样（S2）优于离散采样（S1），且块版本（S3–S4）快于单样本变体。
• 该框架成功恢复了已知方法（如Kaczmarz、坐标下降法），并推导出三种新格式，证明了其广泛适用性。
• 在一般假设（如满列秩）下证明了收敛性，无需正定性假设，从而扩展了先前理论结果的适用范围。