[论文解读] Metric Selection in Douglas-Rachford Splitting and ADMM

Pontus Giselsson, Stephen Boyd|arXiv (Cornell University)|Oct 30, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用 15

一句话总结

本文在强凸性和光滑性假设下，为Douglas-Rachford分裂法和ADMM建立了线性收敛速率的界，表明这些界依赖于度量的选择，并可通过优化度量选择来改进。此外，本文提出了启发式度量与参数选择策略，在非光滑或非强凸问题上显著提升了性能，在模型预测控制的实例中实现了超过一个数量级的速度提升。

ABSTRACT

Recently, several convergence rate results for Douglas-Rachford splitting and the alternating direction method of multipliers (ADMM) have been presented in the literature. In this paper, we show linear convergence rate bounds for Douglas-Rachford splitting under strong convexity and smoothness assumptions. We show that these bounds generalize and/or improve on similar bounds in the literature and that the bounds are tight for the class of problems under consideration. For finite dimensional Euclidean problems, we show how the rate bounds depend on the metric that is used in the algorithm. We also show how to select this metric to optimize the bound. Many real-world problems do not satisfy both the smoothness and strongly convexity assumptions. Therefore, we also propose heuristic metric and parameter selection methods to improve the performance of a wider class of problems. The efficiency of the proposed heuristics is confirmed in a numerical example on a model predictive control problem, where improvements of more than one order of magnitude are observed.

研究动机与目标

• 在强凸性和光滑性假设下，建立Douglas-Rachford分裂法和ADMM的紧致线性收敛速率界。
• 分析收敛速率如何依赖于有限维欧氏空间中的度量选择。
• 提出一种方法，用于选择使收敛速率界最小化的最优度量。
• 通过为缺乏光滑性和强凸性的更广问题类提出启发式度量与参数选择策略，扩展该方法的应用范围。
• 通过在模型预测控制问题上的数值实验，验证所提启发式方法的有效性。

提出的方法

• 在强凸性和光滑性假设下，推导Douglas-Rachford分裂法和ADMM的线性收敛速率界，并以算法的度量形式表达这些界。
• 分析收敛速率在有限维欧氏空间中对度量选择的依赖关系。
• 推导一种优化过程，用于选择使所推导收敛速率界最小化的度量。
• 提出适用于既不满足光滑性也不满足强凸性的问题的启发式度量与参数选择方法。
• 通过在模型预测控制问题上的数值实验，评估所提启发式方法的性能。
• 将收敛速率界用作实际中调整度量和算法参数的指导。

实验结果

研究问题

• RQ1 在强凸性和光滑性假设下，Douglas-Rachford分裂法和ADMM中的度量选择如何影响线性收敛速率？
• RQ2 是否可以通过优化度量选择来最小化收敛速率界？其最优度量是什么？
• RQ3 如何将度量与参数选择方法适应于既不满足光滑性也不满足强凸性的问题？
• RQ4 使用所提启发式选择方法可在实际中实现多大程度的性能提升？
• RQ5 理论收敛速率界与实际应用中经验性能提升之间的对齐程度如何？

主要发现

• 所推导的线性收敛速率界更紧致，并在文献中实现了广义或改进。
• 收敛速率界明确依赖于度量选择，且通过优化该度量可显著降低界。
• 所提启发式度量与参数选择方法在模型预测控制实例中使算法性能提升超过一个数量级。
• 在强凸性和光滑性假设下，理论收敛速率界对所研究问题类是紧致的。
• 即使理论假设的光滑性和强凸性不成立，启发式方法仍表现出实际有效性。
• 数值结果证实，度量选择在加速实际问题收敛方面起着关键作用。