[论文解读] Numerically stable coded matrix computations via circulant and rotation matrix embeddings

Aditya Ramamoorthy, Tang Li|arXiv (Cornell University)|Oct 15, 2019

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文提出了一种基于循环矩阵和旋转矩阵嵌入的数值稳定编码计算框架，以克服传统基于多项式的分布式矩阵计算方法中因条件数过高而带来的问题。通过在实数域上操作，同时利用单位圆上参数的复Vandermonde矩阵，该方法将最坏情况下的条件数上界控制在 $ O(n^{s+5.5}) $，相比先前工作显著降低了数量级的数值误差，尤其在大规模系统中的矩阵-矩阵乘法场景下表现更优。

ABSTRACT

Polynomial based methods have recently been used in several works for mitigating the effect of stragglers (slow or failed nodes) in distributed matrix computations. For a system with $n$ worker nodes where $s$ can be stragglers, these approaches allow for an optimal recovery threshold, whereby the intended result can be decoded as long as any $(n-s)$ worker nodes complete their tasks. However, they suffer from serious numerical issues owing to the condition number of the corresponding real Vandermonde-structured recovery matrices; this condition number grows exponentially in $n$. We present a novel approach that leverages the properties of circulant permutation matrices and rotation matrices for coded matrix computation. In addition to having an optimal recovery threshold, we demonstrate an upper bound on the worst-case condition number of our recovery matrices which grows as $\approx O(n^{s+5.5})$; in the practical scenario where $s$ is a constant, this grows polynomially in $n$. Our schemes leverage the well-behaved conditioning of complex Vandermonde matrices with parameters on the complex unit circle, while still working with computation over the reals. Exhaustive experimental results demonstrate that our proposed method has condition numbers that are orders of magnitude lower than prior work.

研究动机与目标

• 解决基于多项式的编码计算方案中因实Vandermonde矩阵条件数指数级增长而导致的数值不稳定问题。
• 构建一种保留单位圆上参数复Vandermonde矩阵优良条件性的实数域计算框架。
• 在存在慢速节点的情况下，实现关于工作节点数量的多项式有界最坏情况条件数，同时保持最优恢复阈值。
• 在矩阵-向量和矩阵-矩阵计算场景下，显著提升数值精度与稳定性，优于现有方法。

提出的方法

• 通过循环置换矩阵和旋转矩阵对矩阵计算任务进行嵌入，以结构化方式组织恢复过程。
• 利用单位圆上参数的复Vandermonde矩阵，确保恢复系统的良好条件性，同时在工作节点上保持实数计算。
• 通过结构化嵌入构建恢复矩阵，保持数值稳定性，并给出条件数增长的理论上限。
• 采用在复数域上运行的解码策略，但其推导基于实数编码的工作节点计算，实现精确重构。
• 应用分块对角嵌入技术，将子矩阵计算分发至各工作节点，确保容错性并实现最优恢复阈值。
• 通过详尽的数值实验，验证在不同系统规模和慢速节点数量下的条件数降低与误差性能。

实验结果

研究问题

• RQ1 能否利用循环矩阵和旋转矩阵嵌入，在保持实数工作节点计算的同时实现数值稳定的编码计算？
• RQ2 该方案中恢复矩阵的最坏情况条件数是多少？其随工作节点数量和慢速节点数量的扩展规律如何？
• RQ3 与现有实Vandermonde方法及正交多项式方法相比，该方案的数值误差（以归一化均方误差衡量）如何？
• RQ4 所提方法是否在显著降低条件数的同时，仍能保持最优恢复阈值？

主要发现

• 恢复矩阵的最坏情况条件数上界为 $ O(n^{s+5.5}) $，当 $ s $ 固定时，其随 $ n $ 的增长为多项式增长，与传统实Vandermonde方案的指数增长形成鲜明对比。
• 在 $ n=31 $ 的矩阵-矩阵乘法中，旋转矩阵嵌入方案的最坏情况条件数比实Vandermonde方法低约十一数量级。
• 旋转矩阵嵌入方案的归一化均方误差（MSE）约为文献[15]方案的五分之一，展现出更优的数值精度。
• 对于 $ n=17 $，所提方案的最坏情况条件数比[15]低四个数量级，且工作节点计算与解码时间相近。
• 该方案保持了最优恢复阈值 $ au = k_A k_B $，确保只要 $ n-s $ 个节点完成任务，主节点即可解码结果。
• 实验结果表明，实Vandermonde方案的归一化MSE过高，无法绘制图表，证实其在实际应用中存在严重数值不稳定性。