[论文解读] Increasing Iterate Averaging for Solving Saddle-Point Problems

Yuan Gao, Christian Kroer+1 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Bandit Algorithms Research参考文献 29被引用 7

一句话总结

本文提出了一种用于求解凸-凹鞍点问题的首阶方法的递增迭代平均方案（IIAS），通过为后期迭代赋予更高权重来加速收敛。该方法在不增加计算开销的前提下，保持了 O(1/T) 的收敛速率，实际表现显著优于均匀平均法，甚至在游戏、成像和市场均衡等任务中，较最先进的算法 CFR+ 提升了数量级。

ABSTRACT

Many problems in machine learning and game theory can be formulated as saddle-point problems, for which various first-order methods have been developed and proven efficient in practice. Under the general convex-concave assumption, most first-order methods only guarantee an ergodic convergence rate, that is, the uniform averages of the iterates converge at a $O(1/T)$ rate in terms of the saddle-point residual. However, numerically, the iterates themselves can often converge much faster than the uniform averages. This observation motivates increasing averaging schemes that put more weight on later iterates, in contrast to the usual uniform averaging. We show that such increasing averaging schemes, applied to various first-order methods, are able to preserve the $O(1/T)$ convergence rate with no additional assumptions or computational overhead. Extensive numerical experiments on zero-sum game solving, market equilibrium computation and image denoising demonstrate the effectiveness of the proposed schemes. In particular, the increasing averages consistently outperform the uniform averages in all test problems by orders of magnitude. When solving matrix and extensive-form games, increasing averages consistently outperform the last iterates as well. For matrix games, a first-order method equipped with increasing averaging outperforms the highly competitive CFR$^+$ algorithm.

研究动机与目标

• 解决首阶方法在鞍点问题中理论的遍历收敛速率与实际观察到的后期迭代更快收敛之间的差距。
• 设计一种理论基础坚实、计算高效的平均方案，通过强调近期迭代来加速收敛。
• 证明在多种首阶方法中，对后期迭代施加递增权重可保持 O(1/T) 的收敛速率。
• 展示 IIAS 在游戏理论、市场均衡和图像去噪等多样化应用中，优于均匀平均法和最后迭代。
• 提供简单、可实现的权重规则（如 w_t = t^q），确保收敛性，且无需调参或修改原始算法。

提出的方法

• 引入递增迭代平均（IIAS），采用非递减权重 w_t，形成加权平均：x̄^T = (1/S_T) Σ w_t x^t，其中 S_T = Σ w_t。
• 将 IIAS 应用于一系列首阶方法，包括原始-对偶算法（PDA）、松弛 PDA（RPDA）、惯性 PDA（IPDA）、线搜索 PDA（PDAL）、镜像下降（MD）和镜像逼近（MP）。
• 通过重加权标准收敛证明中关键不等式的求和过程，利用递增权重的错位求和，建立理论收敛性。
• 采用 w_t = t^q（q ≥ 0）等权重选择，适用于大多数方法；对惯性或线搜索变体则使用更复杂的规则以保持收敛性。
• 实现平均过程增量式进行，除标准首阶方法外，无需额外内存或计算开销。
• 全程采用安全、静态步长，避免自适应或问题特定调参，以隔离平均策略的影响。

实验结果

研究问题

• RQ1 在首阶方法求解鞍点问题时，对后期迭代施加递增权重是否能保持 O(1/T) 的收敛速率？
• RQ2 IIAS 在实际中是否优于均匀平均法，尤其是在后期迭代收敛更快的情况下？
• RQ3 IIAS 是否能在零和博弈求解中超越高度优化的 tuned 算法（如 CFR+）？
• RQ4 IIAS 的性能增益在矩阵博弈、扩展形式博弈、市场均衡和图像去噪等多样化应用中是否具有鲁棒性？
• RQ5 哪些简单、理论合理的权重规则（如 w_t = t^q）可确保收敛性，且无需调参或修改原始算法？

主要发现

• 在一般凸-凹假设下，IIAS 对包括 PDA、RPDA、IPDA、PDAL、MD 和 MP 在内的广泛首阶方法，均保持了 O(1/T) 的收敛速率。
• 在矩阵博弈中，采用 IIAS 的 PDA（如 w_t = t^3）显著优于高度优化的 CFR+ 算法，收敛速度提升达数量级。
• 在扩展形式博弈求解中，IIAS 稳定优于均匀平均和最后迭代，其中 RPDA + IIAS 的性能超越 EGT 和 CFR+。
• 在市场均衡计算中，PDA 搭配 IIAS 的收敛速度与最后迭代相当或更快，归一化残差显示其持续优于均匀平均。
• 在基于 TV-ℓ₁ 最小化的图像去噪中，线性和二次 IIAS 在 1000 次迭代后，性能接近最后迭代，且远优于均匀平均。
• 性能提升仅通过修改平均规则实现，无需修改算法或增加计算成本。