[论文解读] Inference in Multi-Layer Networks with Matrix-Valued Unknowns

Parthe Pandit, Mojtaba Sahraee-Ardakan+3 more|arXiv (Cornell University)|Jan 26, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用 4

一句话总结

该论文提出了一种多层矩阵向量近似消息传递（ML-Mat-VAMP）算法，用于处理具有矩阵未知量的多层网络中的推理问题，将ML-VAMP框架扩展至处理矩阵变量。该方法在输入维度增长而隐藏节点数量保持不变的大系统极限下，建立了精确的性能预测，从而实现了对深度生成模型和两层神经网络学习中参数与测试误差的精确分析。

ABSTRACT

We consider the problem of inferring the input and hidden variables of a stochastic multi-layer neural network from an observation of the output. The hidden variables in each layer are represented as matrices. This problem applies to signal recovery via deep generative prior models, multi-task and mixed regression and learning certain classes of two-layer neural networks. A unified approximation algorithm for both MAP and MMSE inference is proposed by extending a recently-developed Multi-Layer Vector Approximate Message Passing (ML-VAMP) algorithm to handle matrix-valued unknowns. It is shown that the performance of the proposed Multi-Layer Matrix VAMP (ML-Mat-VAMP) algorithm can be exactly predicted in a certain random large-system limit, where the dimensions $N imes d$ of the unknown quantities grow as $N ightarrow\infty$ with $d$ fixed. In the two-layer neural-network learning problem, this scaling corresponds to the case where the number of input features and training samples grow to infinity but the number of hidden nodes stays fixed. The analysis enables a precise prediction of the parameter and test error of the learning.

研究动机与目标

• 解决随机多层神经网络中恢复输入变量和隐藏变量的推理问题，其中隐藏变量以矩阵形式表示。
• 将向量近似消息传递（VAMP）框架扩展至处理矩阵未知量，从而实现高效且可扩展的推理。
• 为这类网络提供统一的算法，以实现最大后验概率（MAP）和最小均方误差（MMSE）估计。
• 建立严格的渐近性能分析，实现在大系统极限下对参数误差和测试误差的精确预测。
• 支持深度生成先验、多任务回归和两层神经网络学习等应用，并提供理论保证。

提出的方法

• 提出ML-Mat-VAMP算法作为ML-VAMP的扩展，通过顺序处理连续的层对 $(\mathbf{Z}_{\ell}, \mathbf{Z}_{\ell-1})$ 来处理矩阵变量。
• 采用前向-后向消息传递结构，通过前向（$\widehat{\mathbf{Z}}^{+}_{k\ell}$）和后向（$\widehat{\mathbf{Z}}^{-}_{k\ell}$）传递更新变量。
• 采用状态演化框架，通过一组确定性递推方程追踪估计误差的经验分布。
• 引入辅助变量 $\mathbf{p}^{0}_{\ell}, \mathbf{p}^{+}_{k\ell}, \mathbf{q}^{+}_{k\ell}, \mathbf{q}^{-}_{k\ell}$ 来表示后验分布的充分统计量。
• 通过分析在大系统极限 $N \to \infty$ 下（$d$ 固定）矩阵迭代收敛于独立同分布随机变量的性质，利用随机矩阵理论工具推导渐近性能预测。
• 通过状态演化算法（算法4）追踪充分统计量和相关结构，实现对均方误差和参数估计误差的精确预测。

实验结果

研究问题

• RQ1 在输入维度增长而隐藏节点数量保持不变的大系统极限下，是否可以对具有矩阵未知量的多层网络中的推理性能进行精确预测？
• RQ2 如何将向量近似消息传递（VAMP）框架推广以处理矩阵变量而非向量变量？
• RQ3 在隐藏节点数量固定而输入维度不断增长的条件下，深度生成模型和两层神经网络学习中的估计误差具有怎样的渐近行为？
• RQ4 所提出的ML-Mat-VAMP算法在存在非线性激活函数和结构化噪声的情况下，如何保持精度和收敛性？
• RQ5 哪些充分统计量和递推规则能够实现对多层网络中矩阵推理的精确性能预测？

主要发现

• ML-Mat-VAMP算法在大系统极限下实现了精确的性能预测，其中 $N \to \infty$ 且 $d$ 固定，对应于输入特征和训练样本数量增长但隐藏节点数量保持不变的情形。
• 该算法的渐近性能由状态演化框架（算法4）决定，该框架通过确定性递推方程追踪估计误差的经验分布。
• 该算法在两层神经网络学习中实现了对均方误差和参数估计误差的精确预测，且在极限下矩阵迭代收敛于独立同分布的随机变量。
• 状态演化分析表明，估计误差与真实变量之间的相关性收敛于确定性极限，从而实现精确的误差预测。
• 该方法成功将VAMP推广至矩阵变量推理，在高维设置下保持理论保证和可扩展性。
• 该框架支持MAP和MMSE推理，后者可在隐藏变量存在不确定性时实现最优估计。