[论文解读] Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery

Scott Wisdom, Thomas A. Powers+2 more|arXiv (Cornell University)|Nov 22, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用 38

一句话总结

该论文提出SISTA-RNN，一种基于序列迭代软阈值算法（SISTA）的新型可解释循环神经网络架构，用于序列稀疏恢复。通过将RNN训练建模为概率模型中的推理过程，SISTA-RNN学习到可解释的参数，如诱导稀疏性的字典、正则化权重和步长，其在压缩感知图像重建任务中表现优于黑箱LSTM和通用RNN，且训练速度更快。

ABSTRACT

Recurrent neural networks (RNNs) are powerful and effective for processing sequential data. However, RNNs are usually considered "black box" models whose internal structure and learned parameters are not interpretable. In this paper, we propose an interpretable RNN based on the sequential iterative soft-thresholding algorithm (SISTA) for solving the sequential sparse recovery problem, which models a sequence of correlated observations with a sequence of sparse latent vectors. The architecture of the resulting SISTA-RNN is implicitly defined by the computational structure of SISTA, which results in a novel stacked RNN architecture. Furthermore, the weights of the SISTA-RNN are perfectly interpretable as the parameters of a principled statistical model, which in this case include a sparsifying dictionary, iterative step size, and regularization parameters. In addition, on a particular sequential compressive sensing task, the SISTA-RNN trains faster and achieves better performance than conventional state-of-the-art black box RNNs, including long-short term memory (LSTM) RNNs.

研究动机与目标

• 开发一种循环神经网络架构，通过源自严谨概率模型的方式，保持学习参数的可解释性。
• 通过用基于模型的推理算法替代启发式组件，解决传统RNN（尤其是LSTM）的黑箱特性。
• 通过结构化且可解释的RNN设计，提升序列稀疏恢复任务中的训练速度与性能。
• 证明基于SISTA的模型初始化相比随机初始化，能带来更好的收敛性和泛化能力。
• 探索可解释深度网络作为未来人类可解释AI系统基础的可行性。

提出的方法

• SISTA-RNN通过展开序列迭代软阈值算法（SISTA）构建，SISTA用于求解具有诱导稀疏性先验的稀疏恢复问题。
• 网络架构由SISTA的计算结构隐式定义，形成具有可学习参数的堆叠RNN，其参数与统计模型组件直接关联。
• 关键参数包括稀疏化字典D、正则化参数λ₁和λ₂，以及步长α，这些参数在训练后仍保持其概率解释。
• 网络通过均方误差损失端到端训练，SISTA参数初始值来自无监督SISTA，再通过反向传播进行微调。
• 该方法避免使用LSTM单元等黑箱组件，转而依赖可微分的、基于模型的推理过程。
• 探索了对λ₂施加非负性约束以保持可解释性，提示可根据学习到的参数行为对网络架构进行改进。

实验结果

研究问题

• RQ1 能否设计一种循环神经网络，使其学习到的权重能直接对应于概率模型的可解释参数？
• RQ2 使用SISTA进行基于模型的初始化是否能带来比标准RNN中随机初始化更快的收敛速度和更优性能？
• RQ3 在序列稀疏恢复任务中，SISTA-RNN与LSTM和通用RNN等黑箱RNN相比表现如何？
• RQ4 SISTA-RNN能否被解释为现有架构（如单位RNN，uRNN）的推广，而无需引入复数状态或单位约束？
• RQ5 通过分析学习到的SISTA参数（如λ₁、λ₂和α）的取值，能获得关于模型行为与数据结构的哪些洞见？

主要发现

• SISTA-RNN在测试集上达到最低的均方误差（MSE）584，优于LSTM（727 MSE）和通用RNN（720 MSE）。
• SISTA-RNN的峰值信噪比（PSNR）达到21.7 dB，显著高于LSTM和通用RNN（均为20.7 dB）。
• SISTA-RNN的训练速度优于LSTM和通用RNN，学习曲线显示其优化动态更优，归因于基于模型的初始化。
• 学习到的SISTA参数包括λ₁ = 3.07（增强的稀疏惩罚）、α = 2.02（更小的步长）和λ₂ = -0.04，表明需引入非负性约束以维持可解释性。
• SISTA-RNN的性能甚至超过使用三帧上下文和完美初始状态估计的“理想初始化”ℓ₁同伦法。
• 可视化结果显示，学习到的字典D和预测矩阵F保持稳定，表明其与数据结构高度匹配。