[论文解读] Deep Unfolding: Model-Based Inspiration of Novel Deep Architectures

John R. Hershey, Jonathan Le Roux+1 more|arXiv (Cornell University)|Sep 9, 2014

Domain Adaptation and Few-Shot Learning参考文献 26被引用 254

一句话总结

本文提出深度展开（deep unfolding）方法，通过在各层之间解除参数绑定，将迭代式基于模型的推理算法转化为深度神经网络架构。作者将该方法应用于语音增强中的非负矩阵分解（NMF），构建了一种参数高效、可解释的深度神经网络，其性能优于标准深度神经网络（DNN），且参数量显著更少，同时保留了如信号可加性等特定领域的约束条件。

ABSTRACT

Model-based methods and deep neural networks have both been tremendously successful paradigms in machine learning. In model-based methods, problem domain knowledge can be built into the constraints of the model, typically at the expense of difficulties during inference. In contrast, deterministic deep neural networks are constructed in such a way that inference is straightforward, but their architectures are generic and it is unclear how to incorporate knowledge. This work aims to obtain the advantages of both approaches. To do so, we start with a model-based approach and an associated inference algorithm, and \emph{unfold} the inference iterations as layers in a deep network. Rather than optimizing the original model, we \emph{untie} the model parameters across layers, in order to create a more powerful network. The resulting architecture can be trained discriminatively to perform accurate inference within a fixed network size. We show how this framework allows us to interpret conventional networks as mean-field inference in Markov random fields, and to obtain new architectures by instead using belief propagation as the inference algorithm. We then show its application to a non-negative matrix factorization model that incorporates the problem-domain knowledge that sound sources are additive. Deep unfolding of this model yields a new kind of non-negative deep neural network, that can be trained using a multiplicative backpropagation-style update algorithm. We present speech enhancement experiments showing that our approach is competitive with conventional neural networks despite using far fewer parameters.

研究动机与目标

• 弥合基于模型的方法（嵌入领域知识，但推理速度慢）与深度神经网络（速度快，但缺乏可解释性）之间的差距。
• 开发一种通用框架，将迭代推理算法转化为可训练的、分层的深度架构。
• 在保留原始基于模型方法结构约束的前提下，实现对这些架构的判别式训练。
• 证明深度展开可生成新颖、高效且可解释的神经网络架构，适用于语音增强等实际应用。

提出的方法

• 将迭代推理算法（如NMF中的乘法更新）的迭代过程展开为深度网络中的一系列层。
• 在各层之间解除模型参数的绑定，以支持判别式训练，从而在表达能力上超越原始模型。
• 使用基于梯度的反向传播训练网络，其中采用源自原始推理算法的乘法更新规则。
• 将该框架应用于马尔可夫随机场和信念传播，统一传统S型激活网络与替代性深度架构。
• 通过展开NMF推理过程设计非负深度网络，保留声音源的可加性约束。
• 采用专为非负参数设计的乘法式反向传播算法训练所得架构。

实验结果

研究问题

• RQ1 能否系统性地将迭代式基于模型的推理算法转化为表达能力更强、可训练性更高的深度神经网络架构？
• RQ2 如何通过基于模型的设计，将特定领域的约束（如音频中的信号可加性）嵌入深度学习模型？
• RQ3 深度展开能否生成在精度上优于标准DNN、但参数量显著更少的网络架构？
• RQ4 各层参数解除绑定的训练方式对深度展开架构的性能与泛化能力有何影响？
• RQ5 推理算法的选择（如平均场近似与信念传播）如何影响最终生成的深度网络架构？

主要发现

• 当K=25、C=2时，深度NMF架构仅使用440K参数即实现9.64 dB的SDR，优于使用550万参数的DNN（SDR为9.57 dB）。
• 最小的深度NMF拓扑结构（K=25、C=2）在参数量少一个数量级的情况下，仍优于性能最佳的DNN。
• 对第一层进行判别式训练带来的性能提升最大，且对深层网络进行训练可持续改善性能，尤其在低信噪比（SNR）条件下表现更优。
• 当层数从R^l=100增加到R^l=1000时，性能提升有限，表明存在收益递减或数据/优化瓶颈。
• 该框架将传统S型网络统一为展开的平均场推理，同时通过基于信念传播的展开方式，支持新型架构的构建。
• 乘法式反向传播算法成功训练了非负深度网络，有效保持了非负性约束，并实现了高效的优化。