[论文解读] Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently

Laixi Shi, Yuejie Chi|arXiv (Cornell University)|Nov 25, 2019

Sparse and Compressive Sensing Techniques参考文献 52被引用 4

一句话总结

该论文提出了一种流形梯度下降（MGD）算法，通过在球面流形上优化稀疏性促进损失函数的平滑近似，可证明且高效地求解多通道稀疏盲反卷积（MSBD）。在随机数据模型下，当观测数量足够大时，该方法以高概率恢复未知滤波器，且恢复结果仅存在缩放与平移模糊性。

ABSTRACT

Multi-channel sparse blind deconvolution, or convolutional sparse coding, refers to the problem of learning an unknown filter by observing its circulant convolutions with multiple input signals that are sparse. This problem finds numerous applications in signal processing, computer vision, and inverse problems. However, it is challenging to learn the filter efficiently due to the bilinear structure of the observations with the respect to the unknown filter and inputs, as well as the sparsity constraint. In this paper, we propose a novel approach based on nonconvex optimization over the sphere manifold by minimizing a smooth surrogate of the sparsity-promoting loss function. It is demonstrated that manifold gradient descent with random initializations will provably recover the filter, up to scaling and shift ambiguity, as soon as the number of observations is sufficiently large under an appropriate random data model. Numerical experiments are provided to illustrate the performance of the proposed method with comparisons to existing ones.

研究动机与目标

• 为解决从具有双线性结构和稀疏性约束的多组卷积中高效恢复未知滤波器与稀疏输入的挑战。
• 开发一种非凸优化框架，可证明地恢复滤波器，仅存在缩放与平移模糊性。
• 在随机数据模型下，建立球面流形上流形梯度下降的收敛性保证。
• 为现有非凸或凸方法提供一种平滑且计算高效的替代方案，用于MSBD。

提出的方法

• 将MSBD问题表述为在球面流形上最小化稀疏性促进损失函数的平滑近似。
• 使用流形梯度下降（MGD）在球面上进行优化，通过利用逆滤波器性质避免双线性结构。
• 采用双曲正切函数对$–\ell_0$范数进行平滑近似，以实现可微性并支持高效优化。
• 对滤波器施加可逆性条件，以确保可识别性，并通过逆滤波将双线性问题转化为线性问题。
• 分析经验损失函数的几何结构，并在适当条件下建立其在真实解附近的局部强凸性。
• 利用浓度不等式和矩矩界控制高维设置下梯度与海森矩阵项的行为。

实验结果

研究问题

• RQ1 在多通道稀疏盲反卷积中，使用随机初始化的流形梯度下降能否可证明地恢复未知滤波器？
• RQ2 在随机数据模型下，成功恢复所需的最小观测数量是多少？
• RQ3 为何球面流形上的平滑近似损失函数即使在非凸条件下也能确保收敛至真实解？
• RQ4 MGD在MSBD中的收敛速度与鲁棒性具有哪些理论保证？

主要发现

• 当观测数量$p$足够大时，使用随机初始化的流形梯度下降可高概率地可证明恢复滤波器，仅存在缩放与平移模糊性。
• 在随机数据模型下，该方法仅需$p = O(n \log n)$次观测即可实现恢复，与信息论极限仅相差对数因子。
• 理论分析表明，经验损失函数在真实解附近表现出局部强凸性，从而支持快速收敛。
• 数值实验表明，MGD在合成数据和图像去模糊任务中均优于现有方法，具有更快的收敛速度与更高的恢复精度。
• 通过双曲正切函数实现的平滑近似损失函数支持高效且稳定的优化，且无需强制实现精确稀疏性。