[论文解读] Inference in Deep Networks in High Dimensions

Alyson K. Fletcher, Sundeep Rangan|arXiv (Cornell University)|Jun 20, 2017

Gaussian Processes and Bayesian Inference参考文献 41被引用 11

一句话总结

本文提出多层向量近似消息传递（ML-VAMP），一种计算高效的推理算法，适用于已知参数的深度神经网络。该算法能够从输出中准确估计输入和隐藏单元，在具有随机、正交不变权重矩阵的高维设置下，实现理论上最优的均方误差性能。

ABSTRACT

Deep generative networks provide a powerful tool for modeling complex data in a wide range of applications. In inverse problems that use these networks as generative priors on data, one must often perform inference of the inputs of the networks from the outputs. Inference is also required for sampling during stochastic training on these generative models. This paper considers inference in a deep stochastic neural network where the parameters (e.g., weights, biases and activation functions) are known and the problem is to estimate the values of the input and hidden units from the output. While several approximate algorithms have been proposed for this task, there are few analytic tools that can provide rigorous guarantees in the reconstruction error. This work presents a novel and computationally tractable output-to-input inference method called Multi-Layer Vector Approximate Message Passing (ML-VAMP). The proposed algorithm, derived from expectation propagation, extends earlier AMP methods that are known to achieve the replica predictions for optimality in simple linear inverse problems. Our main contribution shows that the mean-squared error (MSE) of ML-VAMP can be exactly predicted in a certain large system limit (LSL) where the numbers of layers is fixed and weight matrices are random and orthogonally-invariant with dimensions that grow to infinity. ML-VAMP is thus a principled method for output-to-input inference in deep networks with a rigorous and precise performance achievability result in high dimensions.

研究动机与目标

• 为解决已知参数的深度生成网络中推理性能评估缺乏严格分析工具的问题。
• 开发一种计算上可行的推理方法，能够在高维极限下提供精确的均方误差预测。
• 将向量近似消息传递（VAMP）扩展至具有非线性激活函数和任意权重矩阵的多层深度网络。
• 通过采用正交不变权重结构，克服传统AMP在高条件数矩阵下收敛失败的问题。
• 为反问题和生成建模中的启发式推理方法（如MAP和SGLD）提供一种有原则的替代方案。

提出的方法

• ML-VAMP源自期望传播，将VAMP框架扩展至具有多层和非线性激活函数的深度随机网络。
• 该算法通过网络进行迭代前向和反向传递，利用针对每一层定制的去噪函数更新输入和隐藏单元的估计值。
• 它利用向量AMP框架处理非i.i.d.权重矩阵，包括具有任意条件数的矩阵，这些矩阵常导致标准AMP不收敛。
• 该方法为每一层使用解析去噪器，其中S型输出通过probit函数近似以保证可计算性。
• 通过半次迭代的归一化均方误差（NMSE）监控收敛性，每次完整迭代包含一次前向和一次反向传递。
• 在层数量固定、权重矩阵随大小增长且服从正交不变分布的极限系统中，对理论性能进行验证。

实验结果

研究问题

• RQ1 在高维渐近条件下，消息传递算法能否在深度网络推理中实现副本预测的最优均方误差？
• RQ2 当权重矩阵条件数较高时，ML-VAMP是否能保持收敛性和准确性，而标准AMP则不能？
• RQ3 在图像修复任务中，ML-VAMP与MAP和SGLD相比，在重建精度和收敛速度方面表现如何？
• RQ4 在固定层数和随机、正交不变权重矩阵的高维极限下，ML-VAMP的均方误差能否被精确预测？
• RQ5 当应用于具有ReLU和S型激活函数的真实数据（如MNIST）时，ML-VAMP的性能如何？

主要发现

• 在固定层数和随机、正交不变权重矩阵的高维极限下，ML-VAMP实现了副本预测的最优均方误差。
• 在条件数较高（κ=10）的矩阵模拟中，ML-VAMP实现收敛并保持低误差，而标准AMP在此类条件下失败。
• 在MNIST图像修复任务中，ML-VAMP在重建精度上优于MAP和SGLD，在10–20次迭代后达到更低的归一化MSE。
• 该算法收敛迅速，在MNIST实验中约10次迭代后即表现出良好性能。
• 对S型输出层使用probit近似，可在不显著损失性能的前提下实现解析可计算性。
• 在渐近区域，ML-VAMP的NMSE被理论精确预测，验证了其分析框架的正确性。