[论文解读] Hyperparameter Tuning is All You Need for LISTA

Xiaohan Chen, Jialin Liu+2 more|arXiv (Cornell University)|Oct 29, 2021

Image and Signal Denoising Methods被引用 8

一句话总结

该论文提出 HyperLISTA，一种超轻量级、自适应的 LISTA 变体，通过动态计算中间残差和稀疏性感知规则的层参数，实现超线性收敛，将训练简化为仅调节三个超参数。其在已见和未见数据分布上均优于最先进模型，尤其在不同稀疏度和信号幅度下表现优异。

ABSTRACT

Learned Iterative Shrinkage-Thresholding Algorithm (LISTA) introduces the concept of unrolling an iterative algorithm and training it like a neural network. It has had great success on sparse recovery. In this paper, we show that adding momentum to intermediate variables in the LISTA network achieves a better convergence rate and, in particular, the network with instance-optimal parameters is superlinearly convergent. Moreover, our new theoretical results lead to a practical approach of automatically and adaptively calculating the parameters of a LISTA network layer based on its previous layers. Perhaps most surprisingly, such an adaptive-parameter procedure reduces the training of LISTA to tuning only three hyperparameters from data: a new record set in the context of the recent advances on trimming down LISTA complexity. We call this new ultra-light weight network HyperLISTA. Compared to state-of-the-art LISTA models, HyperLISTA achieves almost the same performance on seen data distributions and performs better when tested on unseen distributions (specifically, those with different sparsity levels and nonzero magnitudes). Code is available: https://github.com/VITA-Group/HyperLISTA.

研究动机与目标

• 解决在学习迭代软阈值算法（LISTA）中模型复杂度与泛化能力之间的平衡挑战，特别是针对未见数据分布的情况。
• 减少 LISTA 中可学习参数的数量，同时保持或提升收敛速度和重建精度。
• 开发一种理论基础坚实的自适应参数机制，根据中间网络状态和稀疏性模式动态计算各层参数（步长、阈值）。
• 以极简的超参数调优实现最先进性能，提升对未见稀疏度水平和信号幅度的泛化能力。

提出的方法

• 在 LISTA 网络的中间变量中引入动量，实现超线性收敛，优于标准 LISTA 和 ALISTA。
• 推导出自适应参数规则，基于残差误差和稀疏性模式计算逐层步长和阈值，使用从指数衰减假设中导出的支持选择公式。
• 利用残差范数和 $∥\bm{A}^+∥_1$-基估计来近似 $\|\bm{x}^*\|_\infty$ 和 $\|\bm{x}^{(k)} - \bm{x}^*\|_\infty$，实现基于实例的参数计算。
• 将支持选择阈值 $p^{(k)}$ 定义为 $p^{(k)} = \frac{1}{c}\log\left(\frac{\|\bm{x}^*\|_\infty}{\|\bm{x}^{(k)} - \bm{x}^*\|_\infty}\right)$，其中 $c$ 为可调超参数。
• 实现一个轻量级网络，所有参数均基于前一层输出实时计算，无需额外可学习权重，仅保留三个超参数。
• 借助理论分析证明，在实例最优条件下，自适应参数规则可实现超线性收敛。

实验结果

研究问题

• RQ1 LISTA 中间变量的动量是否能实现超线性收敛？其是否能提升对未见数据的泛化能力？
• RQ2 LISTA 的层特定参数能否基于中间残差和稀疏性模式自适应计算，从而消除对可学习权重的需求？
• RQ3 将 LISTA 中可学习参数减少至仅三个超参数是否会影响性能或收敛速度？
• RQ4 自适应、无参数的 LISTA 变体在已见和未见数据分布上的性能与最先进模型相比如何？
• RQ5 一种理论基础坚实的、基于实例的自适应参数规则，能否解释如 NA-ALISTA 等使用循环网络进行参数预测的模型的实证成功？

主要发现

• HyperLISTA 通过在中间变量中引入动量并结合实例最优的自适应参数计算，实现了超线性收敛。
• 该模型将训练过程简化为仅调节三个超参数——即稀疏度衰减率 $c$ 和两个缩放因子——显著简化了训练流程。
• HyperLISTA 在已见数据分布上达到或超越最先进性能，同时在未见分布上表现出更优的泛化能力，尤其在不同稀疏度水平和非零信号幅度下。
• 理论分析证明，自适应参数规则可实现超线性收敛，当步长设为 $\gamma^{(k)} = 1/\sigma_i$ 时，收敛可在 $\widetilde{K}_3 + |S| + 1$ 次迭代内完成。
• 支持选择公式 $p^{(k)} = \frac{1}{c}\log\left(\frac{\|\bm{x}^*\|_\infty}{\|\bm{x}^{(k)} - \bm{x}^*\|_\infty}\right)$ 实现了推理过程中精确且自适应的稀疏性追踪。
• 实证结果表明，自适应参数机制优于固定参数设置，并为 NA-ALISTA 等模型使用循环网络进行参数预测的成功提供了理论依据。