[论文解读] Constructing the Matrix Multilayer Perceptron and its Application to the VAE

Jalil Taghia, Maria Bånkestad+2 more|arXiv (Cornell University)|Feb 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 4

一句话总结

本文提出矩阵多层感知机（mMLP），一种深度神经网络架构，通过利用冯·诺依曼散度和基于 α-导数的新型反向传播算法，嵌入 SPD 流形的非欧几里得几何结构，实现对对称正定（SPD）矩阵的学习。mMLP 允许在编码器和生成器网络中使用灵活的密集协方差矩阵，显著提升似然度与表征解耦性，且无过拟合现象。

ABSTRACT

Like most learning algorithms, the multilayer perceptrons (MLP) is designed to learn a vector of parameters from data. However, in certain scenarios we are interested in learning structured parameters (predictions) in the form of symmetric positive definite matrices. Here, we introduce a variant of the MLP, referred to as the matrix MLP, that is specialized at learning symmetric positive definite matrices. We also present an application of the model within the context of the variational autoencoder (VAE). Our formulation of the VAE extends the vanilla formulation to the cases where the recognition and the generative networks can be from the parametric family of distributions with dense covariance matrices. Two specific examples are discussed in more detail: the dense covariance Gaussian and its generalization, the power exponential distribution. Our new developments are illustrated using both synthetic and real data.

研究动机与目标

• 为解决深度学习中结构化对称正定（SPD）矩阵的学习挑战，标准 MLP 因缺乏约束强制而失效。
• 开发一种神经网络架构，使所有层均天然满足 SPD 约束，避免无效输出。
• 将变分自编码器（VAE）框架扩展至支持具有密集协方差矩阵的参数族，提升模型灵活性。
• 实现端到端训练 VAE，其中编码器与生成器网络均使用灵活的 SPD 结构分布（如多元正态分布与幂指数分布）。
• 在合成数据与真实世界数据上展示 mMLP 的有效性，证明其在提升似然度与实现有意义的潜在空间解耦方面的优势。

提出的方法

• mMLP 在每一层使用正定核函数，确保输出矩阵始终保持对称且正定。
• 采用冯·诺依曼散度作为损失函数，以尊重 SPD 流形的黎曼几何结构。
• 基于 α-导数（Magnus, 2010）推导出新型反向传播算法，实现梯度计算过程中对 SPD 结构的全程保持。
• 将 mMLP 集成至 VAE 框架中，替代编码器与生成器网络中的标准 MLP。
• 使用 ELBO 优化 VAE 目标，生成模型与推理模型均由 mMLP 参数化，以建模密集协方差矩阵。
• 该模型支持两种关键分布：具有完整协方差的多元正态分布与多元幂指数分布（mPE），突破了对角或低秩假设的限制，显著提升灵活性。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络，使其在学习对称正定矩阵的同时，保持 SPD 流形的非欧几里得几何结构？
• RQ2 如何调整反向传播算法，以在深层网络中所有层均保持 SPD 约束？
• RQ3 在 VAE 的编码器与生成器网络中允许灵活的密集协方差矩阵，是否能提升模型的似然度与表征解耦性？
• RQ4 在编码器网络与生成器网络中增加灵活性，对 VAE 性能的影响有何差异？
• RQ5 mMLP 是否能在真实世界数据上有效应用，同时保持计算可行性并避免过拟合？

主要发现

• mMLP 通过 PD 核函数与基于 α-导数的反向传播，成功在所有层中强制执行 SPD 约束，确保每一阶段输出均为有效矩阵。
• 最具灵活性的模型变体（编码器与生成器网络均使用完整协方差，即 mPE-mPE）实现了最高似然度与最大 KLD，表明潜在空间中的信息编码效率高。
• 基于 mPE 的编码器与生成器网络模型在似然度与解耦性方面均优于基于高斯分布的变体，证明灵活参数族的优越性。
• 尽管模型灵活性增加，但未观察到过拟合迹象，表明在复杂协方差结构下仍具备稳健泛化能力。
• mPE-mPE 模型中使用的高方差估计器（14）可能解释了其性能略低于低方差替代方案，凸显了在灵活模型中估计敏感性的重要性。
• mMLP 在合成数据与真实世界数据中均能有效学习 SPD 矩阵，样本生成结果表明潜在空间具有有意义的结构。