[论文解读] Alternate minimization and doubly stochastic matrices

Melvyn B. Nathanson|arXiv (Cornell University)|Dec 31, 2018

Matrix Theory and Algorithms参考文献 5被引用 5

一句话总结

本文研究了用于将正矩阵转换为双随机形式的交替最小化算法（即Sinkhorn算法）的收敛行为。证明了对于2×2矩阵，收敛最多在两步内完成，并精确刻画了在有限步内终止的矩阵结构，解决了矩阵尺度变换中关于有限终止长度和收敛速率的开放问题。

ABSTRACT

Sinkhorn's alternative minimization algorithm applied to a positive $n imes n$ matrix converges to a doubly stochastic matrix. If the algorithm, applied to a $2 imes 2$ matrix, converges in a finite number of iterations, then it converges in at most two iterations, and the structure of such matrices is determined.

研究动机与目标

• 理解在何种条件下，当应用于正矩阵时，交替最小化算法能在有限步内终止。
• 刻画在恰好两步内收敛的2×2正矩阵的结构。
• 解决关于矩阵尺度变换中有限收敛所需迭代次数是否存在统一上界这一开放问题。
• 研究域结构（例如有理数与实数元素）在决定算法是否能在有限步内终止中的作用。
• 将有限收敛结果推广至具有指定行和列和的矩形矩阵。

提出的方法

• 应用交替的行和列缩放操作：通过左乘对角矩阵来归一化行和，随后通过右乘对角矩阵来归一化列和。
• 使用转置对称性恒等式：$ AY(A) = (X(A^t)A^t)^t $，表明列缩放等价于转置矩阵的行缩放。
• 采用Sinkhorn的唯一性定理：任何正矩阵在交替缩放下都有唯一的双随机极限，仅相差对角矩阵的缩放。
• 通过显式求解要求在一步或两步后行和列和等于1的方程组，分析2×2矩阵。
• 应用丢番图逼近技术，研究极限矩阵中理性与无理数元素及其对收敛长度的影响。
• 将结果推广至具有指定行和列和向量 $ \mathbf{r} $ 和 $ \mathbf{c} $ 的 $ m \times n $ 矩阵，证明在特定条件下可实现有限收敛。

实验结果

研究问题

• RQ1 是否存在一个正的 $ 3\times 3 $ 矩阵，从行随机但非列随机的状态开始，仅经过一次列缩放后即变为双随机矩阵？
• RQ2 对于 $ n \geq 3 $，是否存在一个统一的上界 $ L^*(n) $，使得交替最小化算法在最多 $ L^*(n) $ 次迭代后必然在有限步内终止？
• RQ3 如果一个正的 $ n\times n $ 矩阵的元素属于 $ \mathbb{Q} $，但其双随机极限包含无理数元素，那么该算法是否必然具有无限长度？
• RQ4 对于具有指定行和列和 $ \mathbf{r} $ 和 $ \mathbf{c} $ 的 $ m\times n $ 矩阵，是否存在一个有限的上界 $ L^*(m,n) $，使得算法在最多 $ L^*(m,n) $ 次迭代后终止？
• RQ5 对于给定矩阵，无论从行缩放还是列缩放开始，其迭代次数之差是否至多为一个仅依赖于 $ n $ 的常数 $ C_n $？

主要发现

• 对于 $ 2\times 2 $ 正矩阵，交替最小化算法最多在两步内收敛，本文完全刻画了在恰好两步内终止的矩阵集合。
• 本文通过构造一个正的 $ 3\times 3 $ 矩阵（行随机但非列随机）解决了问题1，该矩阵在一次列缩放后变为双随机矩阵。
• 问题2通过证明 $ L^*(n) = 2 $ 对所有 $ n \geq 3 $ 成立而得以解决，这意味着任何在有限步内收敛的正 $ n\times n $ 矩阵，其收敛过程至多需要两步。
• 问题4通过证明 $ L^*(m,n) = 2 $ 对所有 $ m,n \geq 2 $ 成立而得以解决，将有限收敛上界推广至具有指定行和列和的矩形矩阵。
• 问题5通过证明 $ |N_1 - N_2| < C_n $ 对某个常数 $ C_n $ 成立而得以解决，证明表明从行缩放或列缩放开始的迭代次数之差是有界的。
• 本文证明：若一个属于 $ M_n^+(\mathbb{Q}) $ 的矩阵，其双随机极限包含无理数元素，则算法的长度必为无限，因为迭代序列始终保持有理数但收敛于无理数。