[论文解读] A Hybrid Method of Combinatorial Search and Coordinate Descent for Discrete Optimization

Ganzhao Yuan, Li Shen+1 more|arXiv (Cornell University)|Jun 20, 2017

Sparse and Compressive Sensing Techniques参考文献 48被引用 6

一句话总结

本文提出了一种混合离散优化方法，结合对选定坐标子集的组合搜索与坐标下降法，采用随机或贪心策略选择工作集。该方法在稀疏和二值优化中实现了更强的驻点和最先进精度，优于正交匹配追踪等方法。

ABSTRACT

Discrete optimization is a central problem in mathematical optimization with a broad range of applications, among which binary optimization and sparse optimization are two common ones. However, these problems are NP-hard and thus difficult to solve in general. Combinatorial search methods such as branch-and-bound and exhaustive search find the global optimal solution but are confined to small-sized problems, while coordinate descent methods such as coordinate gradient descent are efficient but often suffer from poor local minima. In this paper, we consider a hybrid method that combines the effectiveness of combinatorial search and the efficiency of coordinate descent. Specifically, we consider random strategy or/and greedy strategy to select a subset of coordinates as the working set, and then perform global combinatorial search over the working set based on the original objective function. In addition, we provide some optimality analysis and convergence analysis for the proposed method. Our method finds stronger stationary points than existing methods. Finally, we demonstrate the efficacy of our method on some sparse optimization and binary optimization applications. As a result, our method achieves state-of-the-art performance in terms of accuracy. For example, our method generally outperforms the well-known orthogonal matching pursuit method in sparse optimization. Keywords: Sparsity Optimization, Binary Optimization, Coordinate Descent, Combinatorial Search, Discrete Optimization, Convergence Analysis.

研究动机与目标

• 为解决现有方法在求解NP难离散优化问题时的局限性，特别是坐标下降法产生的劣质局部极小值以及组合搜索的高计算成本。
• 通过在工作集上结合组合搜索与坐标下降更新，弥合效率与全局最优性之间的差距。
• 开发一种方法，使非凸稀疏和二值优化问题中的驻点强于现有方法。
• 为所提出的混合框架提供收敛性和最优性保证的理论支持。

提出的方法

• 通过随机或贪心策略选择工作集坐标，以缩小搜索空间。
• 在工作集内，使用原始目标函数进行全局组合搜索，以提升解的质量。
• 在固定工作集的同时，对剩余坐标执行坐标下降更新，确保局部改进。
• 利用充分下降条件和梯度的Lipschitz连续性，推导收敛边界。
• 在理论分析中利用强凸性和柯西-施瓦茨不等式，以界定迭代值和收敛速率。
• 理论分析包括收敛至驻点，以及对期望次优性和迭代值与最优解距离的边界分析。

实验结果

研究问题

• RQ1 结合组合搜索与坐标下降的混合方法是否能在离散优化中实现优于纯坐标下降法的解质量？
• RQ2 通过随机或贪心策略选择的工作集是否能改善收敛性并避免劣质局部极小值？
• RQ3 在稀疏优化中，该方法与正交匹配追踪等最先进方法相比表现如何？
• RQ4 该混合框架中可建立哪些关于收敛性和次优性的理论保证？
• RQ5 该方法能否有效平衡子集上的全局搜索与局部下降，以达到强驻点？

主要发现

• 所提方法在稀疏和二值优化任务中实现了最先进精度，优于正交匹配追踪等知名方法。
• 理论分析表明，期望次优性随迭代次数线性减少，其边界与强凸性参数成反比。
• 该方法收敛至驻点，收敛速率取决于工作集大小和问题参数。
• 迭代值与最优解之间期望距离有界且随时间减少，表明收敛稳定。
• 实验结果表明，该混合方法在非凸设置下找到的驻点强于现有方法。
• 该方法在整个迭代过程中保持可行性，并在机器学习与计算机视觉等实际应用中实现了性能提升。