[论文解读] Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems

Tianxiang Gao, Songtao Lu+2 more|arXiv (Cornell University)|Dec 16, 2019

Sparse and Compressive Sensing Techniques参考文献 36被引用 5

一句话总结

本文提出了一种用于非凸、非利普希茨优化问题的分块两参考Bregman邻近梯度（B2B）方法，通过引入两个参考函数实现Bregman投影的闭式解。在采用贪心或随机化分块选择策略时，该方法实现了全局收敛，收敛速率为$Ó(\sqrt{s}/\sqrt{k})$，比循环策略快$Ó(\sqrt{s})$倍，在非负矩阵分解（NMF）问题上表现出优越性能。

ABSTRACT

In the applications of signal processing and data analytics, there is a wide class of non-convex problems whose objective function is freed from the common global Lipschitz continuous gradient assumption (e.g., the nonnegative matrix factorization (NMF) problem). Recently, this type of problem with some certain special structures has been solved by Bregman proximal gradient (BPG). This inspires us to propose a new Block-wise two-references Bregman proximal gradient (B2B) method, which adopts two reference functions so that a closed-form solution in the Bregman projection is obtained. Based on the relative smoothness, we prove the global convergence of the proposed algorithms for various block selection rules. In particular, we establish the global convergence rate of $O(\frac{\sqrt{s}}{\sqrt{k}})$ for the greedy and randomized block updating rule for B2B, which is $O(\sqrt{s})$ times faster than the cyclic variant, i.e., $O(\frac{s}{\sqrt{k}} )$, where $s$ is the number of blocks, and $k$ is the number of iterations. Multiple numerical results are provided to illustrate the superiority of the proposed B2B compared to the state-of-the-art works in solving NMF problems.

研究动机与目标

• 为解决非凸、非利普希茨设置下分块Bregman BCD方法缺乏收敛速率分析的问题。
• 通过引入两个参考函数，克服迭代Bregman投影带来的计算瓶颈，实现闭式解。
• 建立贪心和随机化分块选择规则相比循环规则的更快收敛速率。
• 为非凸优化问题（如NMF）提供一种全局收敛算法，其中梯度不满足全局利普希茨连续性。
• 将Bregman邻近框架扩展至经典假设之外，实现对结构化非凸问题的高效、可扩展优化。

提出的方法

• 提出B2B方法，通过两个参考函数将Bregman子问题分解为两部分，以诱导Bregman投影的闭式解。
• 基于Bregman散度构建相对光滑性框架，用于收敛性分析，无需依赖全局利普希茨连续梯度。
• 采用分块更新策略，包含三种分块选择规则：循环、贪心和随机，每种规则均有独立的收敛保证。
• 利用Bregman距离推导下降引理，量化目标函数的下降量，从而在相对光滑性条件下实现收敛性分析。
• 提出一种步长规则，确保目标函数充分下降的同时保持计算效率。
• 将该方法应用于非负矩阵分解（NMF），其中目标函数的梯度不具有全局利普希茨连续性。

实验结果

研究问题

• RQ1 基于Bregman的分块坐标方法是否能在不假设全局利普希茨梯度的前提下，实现对非凸、非利普希茨问题的全局收敛？
• RQ2 通过引入两个参考函数，是否可以使Bregman投影子问题获得闭式解？
• RQ3 在贪心和随机化分块选择规则下，B2B方法的收敛速率相较于循环更新有何差异？
• RQ4 在NMF问题上，所提出的B2B方法与当前最先进方法相比性能如何？
• RQ5 是否可以利用相对光滑性框架，推导出非凸设置下分块Bregman方法的收敛速率？

主要发现

• B2B方法在所有三种分块选择规则（循环、贪心、随机）下均能实现全局收敛至驻点。
• 对于贪心和随机化分块更新，收敛速率为$Ó(\sqrt{s}/\sqrt{k})$，比循环规则的$Ó(s/\sqrt{k})$速率快$Ó(\sqrt{s})$倍。
• 通过引入两个参考函数，Bregman投影实现了闭式解，显著降低了相比迭代求解器的计算成本。
• 数值结果表明，B2B在收敛速度和解的质量方面均优于求解非负矩阵分解（NMF）问题的当前最先进方法。
• 收敛速率分析严谨，基于相对光滑性理论，避免了对全局利普希茨连续梯度的严格假设。
• 该方法适用于信号处理和数据分析中的广泛非凸问题类别，包括NMF、张量分解和泊松似然模型。