[论文解读] From Bayesian Sparsity to Gated Recurrent Nets

Hao He, Bo Xin+1 more|arXiv (Cornell University)|Jun 9, 2017

Blind Source Separation Techniques被引用 22

一句话总结

本文提出了一种新颖的深度学习框架，将稀疏贝叶斯学习（SBL）迭代过程——以处理稀疏估计中相关字典而闻名——映射到受LSTM启发的门控循环网络架构中。通过将SBL的多层嵌套主要化-最小化结构展开为可学习的、灵活的门控反馈LSTM，该方法在方向到达角（DOA）估计和三维几何恢复等稀疏估计任务中实现了最先进性能，且计算成本显著低于传统算法。

ABSTRACT

The iterations of many first-order algorithms, when applied to minimizing common regularized regression functions, often resemble neural network layers with pre-specified weights. This observation has prompted the development of learning-based approaches that purport to replace these iterations with enhanced surrogates forged as DNN models from available training data. For example, important NP-hard sparse estimation problems have recently benefitted from this genre of upgrade, with simple feedforward or recurrent networks ousting proximal gradient-based iterations. Analogously, this paper demonstrates that more powerful Bayesian algorithms for promoting sparsity, which rely on complex multi-loop majorization-minimization techniques, mirror the structure of more sophisticated long short-term memory (LSTM) networks, or alternative gated feedback networks previously designed for sequence prediction. As part of this development, we examine the parallels between latent variable trajectories operating across multiple time-scales during optimization, and the activations within deep network structures designed to adaptively model such characteristic sequences. The resulting insights lead to a novel sparse estimation system that, when granted training data, can estimate optimal solutions efficiently in regimes where other algorithms fail, including practical direction-of-arrival (DOA) and 3D geometry recovery problems. The underlying principles we expose are also suggestive of a learning process for a richer class of multi-loop algorithms in other domains.

研究动机与目标

• 弥合复杂贝叶斯稀疏性算法与现代深度学习架构（特别是LSTM）之间的结构相似性。
• 开发一种可学习的、数据驱动的稀疏估计系统，在高相关字典场景下超越传统迭代方法。
• 通过一种新颖的门控反馈LSTM结构，实现实现主要化-最小化算法中内层与外层循环的高效、自适应协调。
• 在实际稀疏估计问题（如DOA估计和三维几何恢复）中展示最先进性能。
• 将端到端学习范式从简单的基于梯度的模板扩展到复杂、多层优化算法。

提出的方法

• 将稀疏贝叶斯学习（SBL）的多层结构展开为循环网络架构，将潜在变量轨迹映射到LSTM单元动态中。
• 设计一种新颖的门控反馈LSTM，对内层循环（后验方差）和外层循环（系数估计）计算实现自适应控制，支持灵活的循环执行调度。
• 采用主要化-最小化框架推导变分参数的闭式更新，将其嵌入网络前向传播过程。
• 引入一种可微分的、端到端可训练的替代损失，用于非凸ℓ0正则化稀疏估计问题，以学习的循环网络替代迭代求解器。
• 采用一种新颖的在线数据生成过程，为网络合成训练数据，使其能泛化至真实世界问题，如DOA和光度立体重建。
• 将SBL算法中的软阈值化和方差更新规则转化为LSTM单元内的可学习组件，利用逐元素操作和门控机制实现。

实验结果

研究问题

• RQ1 能否将已知可处理相关字典的稀疏贝叶斯学习（SBL）的迭代结构映射到类似LSTM的深度循环网络架构中？
• RQ2 如何在可微分的深度网络中有效建模并协调SBL主要化-最小化算法的内层与外层循环？
• RQ3 在高字典相关性条件下，所学习的门控反馈LSTM架构能否优于标准的近端法和IHT方法？
• RQ4 此类网络的端到端训练在多大程度上能泛化至真实世界问题，如方向到达角（DOA）估计和三维几何恢复？
• RQ5 是否可行通过深度学习学习复杂、多层优化算法，从而超越简单的基于梯度的模板？

主要发现

• 所提出的门控反馈LSTM架构在稀疏估计任务中实现了最先进性能，包括通过光度立体重建实现的三维几何恢复和方向到达角（DOA）估计。
• 该方法在估计精度方面显著优于传统迭代算法（如迭代硬阈值法IHT）和凸松弛方法，尤其在高字典相关性条件下表现更优。
• 该网络在远低于传统SBL或IHT方法所需计算预算下实现卓越性能，展现出极高的效率。
• 通过基于主要化-最小化框架的训练过程，确保目标函数单调下降，从而实现收敛稳定性。
• 由于采用新颖的在线数据生成过程，可合成多样化训练样本，使所学网络在真实世界问题中具有良好的泛化能力。
• 本研究首次成功通过深度学习实现了对复杂、多层、主要化-最小化算法的学习，为优化启发的神经架构开辟了新方向。