[论文解读] Beneath the valley of the noncommutative arithmetic-geometric mean inequality: conjectures, case-studies, and consequences

Benjamin Recht, Christopher Ré|arXiv (Cornell University)|Feb 19, 2012

Mathematical Inequalities and Applications参考文献 32被引用 39

一句话总结

本文研究了在随机优化算法中，为何无放回采样通常优于有放回采样，提出了一种针对半正定矩阵的非交换算术-几何平均不等式。该文证明了该不等式在可交换矩阵和两矩阵情况下成立，并在独立同分布的随机矩阵下验证了其在期望下的成立性，表明在该条件下，随机梯度下降和随机Kaczmarz方法具有更快的收敛速度。

ABSTRACT

Randomized algorithms that base iteration-level decisions on samples from some pool are ubiquitous in machine learning and optimization. Examples include stochastic gradient descent and randomized coordinate descent. This paper makes progress at theoretically evaluating the difference in performance between sampling with- and without-replacement in such algorithms. Focusing on least means squares optimization, we formulate a noncommutative arithmetic-geometric mean inequality that would prove that the expected convergence rate of without-replacement sampling is faster than that of with-replacement sampling. We demonstrate that this inequality holds for many classes of random matrices and for some pathological examples as well. We provide a deterministic worst-case bound on the gap between the discrepancy between the two sampling models, and explore some of the impediments to proving this inequality in full generality. We detail the consequences of this inequality for stochastic gradient descent and the randomized Kaczmarz algorithm for solving linear systems.

研究动机与目标

• 弥合无放回采样在随机优化中经验成功与理论分析之间的差距。
• 建立一种非交换算术-几何平均不等式，作为无放回方法更快收敛的理论基础。
• 分析最小均方误差和线性系统求解中，有放回与无放回采样之间的性能差异。
• 验证特定矩阵类（包括独立同分布的随机矩阵和可交换矩阵）下的非交换AGM不等式。
• 识别开放的猜想和研究方向，以将结果推广至非线性和一般随机算法。

提出的方法

• 提出一种涉及半正定矩阵的对称化几何平均及其算术平均的非交换AGM不等式。
• 将对称化几何平均定义为所有矩阵乘积排列的平均值：$\bm{M}_G = \frac{1}{n!} \sum_{\sigma \in S_n} \bm{A}_{\sigma(1)} \cdots \bm{A}_{\sigma(n)}$。
• 通过矩阵范数比较来评估 $\|\bm{M}_G\| \leq \|\bm{M}_A\|^n$ 是否成立，其中 $\bm{M}_A = \frac{1}{n}\sum \bm{A}_i$。
• 应用矩阵分析和随机矩阵理论的工具，证明该不等式在两矩阵和可交换族情况下的成立性。
• 通过实验验证了独立同分布的随机矩阵（具有独立同分布的次高斯项）下该不等式在期望下的成立性。
• 表明若不进行对称化，确定性矩阵乘积可能比 $\|\bm{M}_A\|^n$ 超出指数因子，从而证明对称化的必要性。

实验结果

研究问题

• RQ1 该非交换算术-几何平均不等式是否对所有半正定矩阵元组都成立？
• RQ2 能否证明该不等式对从对称分布中抽取的独立同分布随机矩阵成立？
• RQ3 对称化几何平均在范数意义下是否总是被算术平均的 $n$ 次幂所控制？
• RQ4 矩阵结构（如框架、可交换矩阵）对不等式有效性的有何影响？
• RQ5 该不等式能否推广至非线性或非凸优化场景？

主要发现

• 该非交换AGM不等式对任意两个半正定矩阵均成立，已通过矩阵范数不等式证明。
• 当所有矩阵可交换时，由于可同时对角化及经典AGM不等式，该不等式成立。
• 对于具有独立同分布次高斯项的独立同分布随机矩阵，该不等式在期望下成立，支持其在机器学习中的应用。
• 若不进行对称化，确定性矩阵乘积可能比 $\|\bm{M}_A\|^n$ 超出指数因子，证明对称化是必要的。
• 该不等式意味着在无放回采样条件下，随机梯度下降和随机Kaczmarz算法均具有更快的收敛速度。
• 存在非对称化乘积的反例，证实对称化对于不等式在一般情况下成立是必需的。