[论文解读] Approximate message-passing for convex optimization with non-separable penalties

Andre Manoel, Florent Krząkała+3 more|arXiv (Cornell University)|Sep 17, 2018

Optimization and Search Problems参考文献 5被引用 9

一句话总结

本文提出了一种基于VAMP的优化算法，用于处理具有非可分惩罚项（如总变差TV）的凸问题，通过将期望一致近似应用于变量的线性变换。该方法通过向量近似消息传递原理自适应地设置步长，在断层扫描和fMRI分类任务中实现了比FISTA和ADMM更快的收敛速度。

ABSTRACT

We introduce an iterative optimization scheme for convex objectives consisting of a linear loss and a non-separable penalty, based on the expectation-consistent approximation and the vector approximate message-passing (VAMP) algorithm. Specifically, the penalties we approach are convex on a linear transformation of the variable to be determined, a notable example being total variation (TV). We describe the connection between message-passing algorithms -- typically used for approximate inference -- and proximal methods for optimization, and show that our scheme is, as VAMP, similar in nature to the Peaceman-Rachford splitting, with the important difference that stepsizes are set adaptively. Finally, we benchmark the performance of our VAMP-like iteration in problems where TV penalties are useful, namely classification in task fMRI and reconstruction in tomography, and show faster convergence than that of state-of-the-art approaches such as FISTA and ADMM in most settings.

研究动机与目标

• 开发一种针对具有非可分惩罚项（如总变差）的凸问题的快速、自适应优化方法。
• 通过在变换后的变量上重新解释期望一致（EC）近似，将向量近似消息传递（VAMP）算法扩展至非可分惩罚项。
• 解决FISTA和ADMM在非可分设置下的局限性，包括内层近端计算和对步长选择的敏感性。
• 在真实世界问题（如fMRI分类和断层扫描重建）中展示所提方法的实际有效性。

提出的方法

• 该方法不再对变量x应用期望一致（EC）近似，而是对其中的线性变换z = Kx进行，从而实现对TV等非可分惩罚项的应用。
• 将优化问题表述为在变换变量上的最大后验概率（MAP）估计，采用在Kx上施加凸惩罚项的带惩罚最小二乘目标函数。
• 通过标准形式高斯分布推导出变换变量的均值和方差的固定点迭代，实现自适应步长选择。
• 更新规则基于EC自由能推导，形成类似VAMP的方案，包含Onsager反应项和自适应方差估计。
• 为提高高维场景（n ≪ p）下的效率，采用Woodbury公式和AAT的特征分解，将计算成本降低至O(np)。
• 对于TV惩罚项，利用傅里叶变换对拉普拉斯算子KTK进行对角化，通过FFT实现快速计算。

实验结果

研究问题

• RQ1 VAMP能否被调整以处理凸优化中如总变差这样的非可分惩罚项？
• RQ2 所提出的基于EC的VAMP变体在具有非可分正则化的任务中是否比FISTA和ADMM收敛更快？
• RQ3 所提方法中的自适应步长选择与传统近端算法中固定或手动调优的步长相比如何？
• RQ4 VAMP框架能否在无需内层近端计算或步长调优的情况下扩展至非可分惩罚项？
• RQ5 该方法在真实世界任务（如fMRI分类和断层扫描重建）中的实证性能如何？

主要发现

• 所提出的基于VAMP的算法在涉及总变差正则化的多个基准问题中，收敛速度均快于FISTA和ADMM。
• 在fMRI分类任务中，该方法在显著减少迭代次数的同时实现了与FISTA和ADMM相当的准确率。
• 在断层扫描重建中，该算法表现出更快的收敛速度和更优的重建质量，尤其在低信噪比条件下。
• 自适应步长机制消除了手动调优的需要，并避免了FISTA在非可分设置下的内层计算瓶颈。
• 利用特征分解和FFT处理TV惩罚项，实现了高效计算，即使在大规模问题中也能保持O(np)的复杂度。
• 实证结果证实，该算法具有鲁棒性和可扩展性，在所有测试设置中性能与最先进方法相当或更优。