[论文解读] A generalized Douglas-Rachford splitting algorithm for nonconvex optimization

Fengmiao Bian, Xiaoqun Zhang|arXiv (Cornell University)|Oct 12, 2019

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文通过引入一种新颖的增广目标函数，提出了一种广义的Douglas-Rachford分裂算法，用于非凸优化问题，以确保整个迭代序列的收敛性。该方法被应用于低秩矩阵补全和逻辑回归问题，在数值实验中表现出优于经典方法的性能。

ABSTRACT

In this paper, we propose a generalized Douglas-Rachford splitting method for a class of nonconvex optimization problem. A new merit function is constructed to establish the convergence of the whole sequence generated by the generalized Douglas-Rachford splitting method. We then apply the generalized Douglas-Rachford splitting method to two important classes of nonconvex optimization problems arising in data science: low rank matrix completion and logistic regression. Numerical results validate the effectiveness of our generalized Douglas-Rachford splitting method compared with some other classical methods.

研究动机与目标

• 解决现有分裂方法在非凸优化问题中缺乏收敛性保证的问题。
• 开发一种广义的Douglas-Rachford算法，以处理数据科学中出现的非凸问题。
• 构建一种新的增广目标函数，以确保算法生成的整个序列的收敛性。
• 在两个关键的非凸问题上验证该方法的有效性：低秩矩阵补全和逻辑回归。

提出的方法

• 针对一类非凸优化问题，提出广义的Douglas-Rachford分裂方法。
• 构建一种新的增广目标函数，用于分析并建立整个序列的收敛性。
• 通过将问题表述为非凸优化任务，将该方法应用于低秩矩阵补全。
• 将算法适配于逻辑回归，将其视为具有结构化目标的非凸问题。
• 利用增广目标函数证明收敛性，该函数在迭代格式中起到类似李雅普诺夫函数的作用。
• 通过数值实验将该方法与经典求解器进行比较，以评估其性能和鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种广义的Douglas-Rachford分裂方法，以确保非凸优化问题的收敛性？
• RQ2 所提出的增广目标函数在非凸设置下如何促进整个序列的收敛性？
• RQ3 与经典算法相比，该广义方法在低秩矩阵补全问题上的表现如何？
• RQ4 该方法在求解非凸逻辑回归问题时的有效性如何？
• RQ5 该算法在不同非凸数据科学问题中是否保持鲁棒性和高效性？

主要发现

• 所提出的广义Douglas-Rachford分裂方法通过新构建的增广目标函数，实现了整个序列的收敛性。
• 在数值实验中，该方法在求解低秩矩阵补全问题时优于经典方法。
• 在非凸形式下的逻辑回归任务中，该算法表现出优异的性能和鲁棒性。
• 增广目标函数是证明收敛性的关键工具，即使在标准方法失效的非凸设置下依然有效。
• 数值结果证实了该方法相对于现有经典求解器的有效性和高效性。