[论文解读] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing

Jian Zhang, Bernard Ghanem|arXiv (Cornell University)|Jun 24, 2017

Sparse and Compressive Sensing Techniques参考文献 47被引用 7

一句话总结

本文提出 ISTA-Net，一种受迭代软阈值算法（ISTA）启发的深度学习架构，用于图像压缩感知（CS）重建。通过将网络结构化为可学习的、端到端可微的 ISTA 版本，引入非线性稀疏化变换和可学习参数（包括步长、阈值和变换），该方法在实现快速推理的同时，显著优于现有的基于优化和基于网络的方法，实现了最先进的重建质量。

ABSTRACT

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general $\ell_1$ norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (\eg nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed {ISTA-Net}$^+$, is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and network-based CS methods by large margins, while maintaining fast computational speed. Our source codes are available: extsl{http://jianzhang.tech/projects/ISTA-Net}.

研究动机与目标

• 通过结合传统基于优化的 CS 方法与现代基于深度学习的方法的优势，弥合两者之间的差距。
• 开发一种深度网络架构，在保持优化算法可解释性的同时，实现学习模型的速度与精度。
• 实现所有参数（包括步长、阈值和非线性变换）的端到端学习，无需人工设计。
• 通过残差域变体 ISTA-Net+ 显式建模图像残差，提升重建保真度。
• 为深度 CS 网络中非线性稀疏化变换的邻近映射问题提供一种通用且高效的解决方案。

提出的方法

• 网络被结构化为固定数量的阶段，每个阶段精确对应 ISTA 算法的一次迭代，确保可解释性。
• 使用非线性可学习稀疏化变换替代固定的线性变换，采用基于 ReLU 的架构以实现非线性并提升表示能力。
• 提出一种新策略，高效求解与非线性变换相关的邻近映射，支持端到端反向传播。
• 每个阶段的前向与反向变换设计满足对称性约束，确保其组合近似恒等算子。
• 所有参数（包括步长（ρ）、阈值（θ）和变换参数（T））通过反向传播联合学习。
• ISTA-Net+ 通过将网络应用于重建图像的残差，提升保真度，结合残差稀疏化与跳跃连接。

实验结果

研究问题

• RQ1 能否设计一种深度网络，显式模仿 ISTA 等优化算法的迭代结构，同时仍支持所有参数的端到端学习？
• RQ2 在变换层中引入 ReLU 的非线性对深度 CS 网络的性能与稳定性有何影响？
• RQ3 在不牺牲重建质量的前提下，跨网络阶段的参数共享在多大程度上可降低模型复杂度？
• RQ4 与直接对图像本身进行稀疏化相比，对重建图像的残差进行稀疏化是否能提升压缩感知重建性能？
• RQ5 能否为深度 CS 网络中非线性稀疏化变换的邻近映射问题，开发一种通用且高效的求解方法？

主要发现

• ISTA-Net 在多个数据集和压缩感知比率下均实现了最先进的 PSNR 性能，优于基于优化和基于网络的方法。
• 在 25% 的 CS 比率下，ISTA-Net+ 在 Set11 数据集上达到 38.73 dB 的 PSNR，显著优于基线 ISTA-Net 及其他 SOTA 方法。
• 变换层中 ReLU 引入的非线性至关重要：移除 ReLU 会导致训练性能显著变差且更不稳定。
• ISTA-Net+ 的非共享变体（各阶段参数独立）实现最佳性能（在 25% CS 比率下 Set11 上达到 32.57 dB），证明了参数灵活性的优势。
• 仅共享变换参数（T）的版本相比完全共享参数提升 0.57 dB，且仅使用 37,458 个参数即达到具有竞争力的性能。
• 所提方法保持了快速推理速度，ISTA-Net+ 在 25% CS 比率下每张图像的重建时间仅为 0.1437 秒，显著快于迭代优化方法。