[论文解读] An Adaptive Total Variation Algorithm for Computing the Balanced Cut of a Graph

Xavier Bresson, Thomas Laurent+2 more|arXiv (Cornell University)|Feb 12, 2013

Complexity and Algorithms in Graphs参考文献 15被引用 15

一句话总结

本文提出了一种用于计算图平衡割的自适应总变差算法，通过引入内总变差最小化过程的动态停止准则，改进了先前的方法。新方法保证了TV-平衡割能量的单调下降，确保了实际收敛性，并在保持精度的同时，相比非自适应方法实现了超过2倍的加速。

ABSTRACT

We propose an adaptive version of the total variation algorithm proposed in [3] for computing the balanced cut of a graph. The algorithm from [3] used a sequence of inner total variation minimizations to guarantee descent of the balanced cut energy as well as convergence of the algorithm. In practice the total variation minimization step is never solved exactly. Instead, an accuracy parameter is specified and the total variation minimization terminates once this level of accuracy is reached. The choice of this parameter can vastly impact both the computational time of the overall algorithm as well as the accuracy of the result. Moreover, since the total variation minimization step is not solved exactly, the algorithm is not guarantied to be monotonic. In the present work we introduce a new adaptive stopping condition for the total variation minimization that guarantees monotonicity. This results in an algorithm that is actually monotonic in practice and is also significantly faster than previous, non-adaptive algorithms.

研究动机与目标

• 解决非自适应总变差最小化在TV-平衡割算法中导致的不稳定性和低效性问题。
• 为内总变差求解设计一种停止准则，以在实际中保持单调性。
• 确保尽管内求解不精确，理论收敛性质（如单调性与局部稳定性）仍能保持。
• 在不牺牲解精度的前提下，显著提升计算效率。
• 为机器学习应用中的图划分提供一种稳健、快速且可靠的算法。

提出的方法

• 基于能量下降设计ROF（Rudin-Osher-Fatemi）总变差最小化子问题的自适应停止条件。
• 采用动态阈值，确保TV-平衡割能量在每次外迭代中下降。
• 使用一种带有可变惩罚参数的改进近端算法，该参数与当前能量水平相关联。
• 应用归一化步骤以保持单位 $\ell^2$-范数和中位数为零的约束。
• 利用总变差求解器的半群性质和连续性，以保持理论保证。
• 基于能量改进设计收敛准则：$||f^k||_{TV} > ||h^k||_{TV} + \theta E(f^k) ||h^k - f^k||^2_2 - E(f^k)\langle v^k, h^k - f^k \rangle$，其中 $\theta = 0.99$。

实验结果

研究问题

• RQ1 能否设计一种总变差最小化的自适应停止准则，以在实践中保证TV-平衡割能量的单调下降？
• RQ2 所提出的自适应算法是否在内求解不精确的情况下仍能保持理论收敛性质（如单调性、局部稳定性）？
• RQ3 与先前工作中非自适应版本相比，该自适应算法在速度和精度方面表现如何？
• RQ4 该算法是否能在保持解质量的同时实现更快的收敛速度？
• RQ5 自适应停止规则对机器学习中图划分的可靠性与鲁棒性有何影响？

主要发现

• 与文献[3]中的非自适应算法相比，自适应算法在MNIST数据集上实现了超过2倍的加速，耗时分别为21.85分钟与45.01分钟。
• 在USPS数据集上，自适应方法将计算时间从5.15分钟减少至3.08分钟，同时保持相同的分类误差（4.11%）。
• 在两个月球数据集上，误差略有上升（9.06% vs. 8.69%），但时间显著减少（2.03秒 vs. 2.06秒）。
• 由于自适应停止规则的存在，该算法在实践中表现出单调性，而与之相比，非自适应版本可能违反单调性。
• 在对总变差求解器施加弱假设的条件下，Lyapunov稳定性与临界点性质等理论保证仍被保持。
• 该方法具有可复现性，代码已公开发布于 http://www.cs.cityu.edu.hk/~xbresson/codes.html。