[论文解读] Learning $\ell_1$-based analysis and synthesis sparsity priors using bi-level optimization

Yunjin Chen, Thomas Pock+1 more|arXiv (Cornell University)|Jan 16, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 6

一句话总结

本文提出了一种统一的双层优化框架，用于在图像去噪中联合学习基于 $β_1$ 的分析算子和合成字典，利用隐式微分同时训练两类先验。该方法在非专用的 $µ_1$-基于方法中达到最先进性能，其中分析稀疏性先验显著优于合成先验。

ABSTRACT

We consider the analysis operator and synthesis dictionary learning problems based on the the $\ell_1$ regularized sparse representation model. We reveal the internal relations between the $\ell_1$-based analysis model and synthesis model. We then introduce an approach to learn both analysis operator and synthesis dictionary simultaneously by using a unified framework of bi-level optimization. Our aim is to learn a meaningful operator (dictionary) such that the minimum energy solution of the analysis (synthesis)-prior based model is as close as possible to the ground-truth. We solve the bi-level optimization problem using the implicit differentiation technique. Moreover, we demonstrate the effectiveness of our leaning approach by applying the learned analysis operator (dictionary) to the image denoising task and comparing its performance with state-of-the-art methods. Under this unified framework, we can compare the performance of the two types of priors.

研究动机与目标

• 在单一双层优化框架下统一学习分析算子与合成字典。
• 解决在 $µ_1$ 正则化背景下分析与合成稀疏性先验之间系统性比较的缺失问题。
• 开发一种可扩展的凸学习方法，避免对分析算子施加非凸约束。
• 通过从自然图像数据中学习有意义的稀疏性先验，提升图像去噪性能。

提出的方法

• 将图像去噪问题建模为双层优化：下层问题最小化一个 $µ_1$-正则化能量函数，上层问题则通过优化分析算子 $A$ 和合成字典 $D$ 来最小化重建误差。
• 使用隐式微分计算上层目标函数对 $A$ 和 $D$ 的梯度，从而实现端到端训练。
• 通过滑动窗口卷积结构，从基于局部块的分析算子 $A$ 构建全局分析算子 $\mathcal{A}$。
• 使用拟牛顿法（L-BFGS）结合所推导的梯度求解上层优化问题。
• 将数据保真项与 $µ_1$-范数正则化整合到一个统一的能量函数中，适用于分析与合成模型。
• 采用基于 DCT 的初始化方法，强制学习到的原子满足均值为零的约束，提升稳定性和可解释性。

实验结果

研究问题

• RQ1 分析与合成稀疏性先验是否可以在统一的双层优化框架下联合学习？
• RQ2 基于 $µ_1$ 的分析先验在图像去噪中的性能与基于 $µ_1$ 的合成先验相比如何？
• RQ3 所提方法是否能与 BM3D 和 K-SVD 等最先进去噪算法达到相当的性能水平？
• RQ4 分析算子上不存在非凸约束是否能带来更稳定和高效的训练？
• RQ5 隐式微分是否能以可微、可扩展的方式有效训练分析与合成先验？

主要发现

• 基于 $µ_1$ 的分析模型在 68 幅测试图像上平均 PSNR 达到 27.78（$σ=25$），优于总变差（TV）方法（26.72）和 K-SVD 合成方法（27.93）。
• 分析先验显著优于合成先验，后者仅达到 27.32 的 PSNR，表明通过合成稀疏性建模自然图像存在固有局限性。
• 所提方法与基于 $µ_0$ 的 K-SVD 方法性能相当，表明基于 $µ_1$ 的分析先验可实现接近更复杂 $µ_0$-基模型的性能。
• 分析模型始终优于基于 TV 的去噪方法，后者是标准的 $µ_1$-基方法，证实了学习先验相比固定先验的优势。
• 初步结果表明，非凸惩罚如 $\log(1+|z|)$ 可能进一步提升性能，甚至可与 BM3D 比肩，但因损失对偶性，此方向需未来工作验证。