[论文解读] Interpretable VAEs for nonlinear group factor analysis

Samuel Ainsworth, Nicholas J. Foti+2 more|arXiv (Cornell University)|Feb 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 9

一句话总结

本文提出一种输出可解释的变分自编码器（oi-VAE），通过将特定于组的生成器与潜在变量到观测变量映射的稀疏性诱导先验相结合，对高维数据中的非线性、分组结构关系进行建模。该方法实现了神经科学意义明确的脑网络可解释性发现，并在低数据量场景下提升了泛化能力，其有效性已在具有HCP-MMP1图谱分组的运动捕捉和MEG数据集上得到验证。

ABSTRACT

Deep generative models have recently yielded encouraging results in producing subjectively realistic samples of complex data. Far less attention has been paid to making these generative models interpretable. In many scenarios, ranging from scientific applications to finance, the observed variables have a natural grouping. It is often of interest to understand systems of interaction amongst these groups, and latent factor models (LFMs) are an attractive approach. However, traditional LFMs are limited by assuming a linear correlation structure. We present an output interpretable VAE (oi-VAE) for grouped data that models complex, nonlinear latent-to-observed relationships. We combine a structured VAE comprised of group-specific generators with a sparsity-inducing prior. We demonstrate that oi-VAE yields meaningful notions of interpretability in the analysis of motion capture and MEG data. We further show that in these situations, the regularization inherent to oi-VAE can actually lead to improved generalization and learned generative processes.

研究动机与目标

• 解决深度生成模型在分组高维数据（如神经影像和运动捕捉）中可解释性不足的问题。
• 在保持可解释性的前提下，对潜在因子与分组观测变量之间的复杂非线性交互关系进行建模。
• 通过稀疏性诱导先验中固有的正则化，提升低数据量场景下的泛化能力。
• 从结构化数据中实现对具有神经生理学意义的交互系统（如脑网络）的发现。
• 通过使用近端推理和折叠变分目标，将深度生成建模扩展到大规模数据集。

提出的方法

• 构建具有特定于组的生成器网络的结构化VAE，以建模从共享潜在变量到分组观测值的非线性映射。
• 应用分层稀疏性诱导先验，促使每个潜在维度仅影响少量组别。
• 使用折叠变分推理目标以提升训练效率，并支持学习稀疏潜在-组交互关系的近端更新。
• 通过推理网络实现近端推理，直接将观测值映射到潜在后验分布。
• 引入近端更新规则，以在组权重矩阵中强制实现稀疏性，从而获得可解释且解耦的潜在成分。
• 通过利用随机梯度下降和蒙特卡洛变分推理，将方法扩展至大规模数据集。

实验结果

研究问题

• RQ1 具有结构化、特定于组的生成器的深度生成模型，能否产生对分组数据中非线性关系的可解释表征？
• RQ2 在潜在变量到观测变量的映射中强制实现稀疏性，是否能导致具有神经生理学意义的组间交互，如已知的脑网络？
• RQ3 稀疏性带来的正则化是否能提升泛化能力，尤其是在低数据量或高维设置下？
• RQ4 与标准VAE相比，折叠变分目标和近端更新在提升训练效率和稀疏性学习方面有何优势？
• RQ5 oi-VAE在多大程度上能从未知的MEG数据中发现已知的功能性脑网络（如背侧注意网络或默认模式网络）？

主要发现

• 所学习潜在空间的第6号分量对应背侧注意网络，包括下顶内沟和右顶颞连接区等区域，其结果经神经科学文献验证。
• 第15号分量与默认模式网络一致，尤其涉及内侧前额叶和后扣带皮层，证实了其神经生理学相关性。
• 由于稀疏性诱导先验带来的正则化，oi-VAE模型在低数据量场景下实现了更好的泛化能力和生成性能。
• 每个潜在分量仅影响少量脑区，如组特定权重矩阵的L2范数所示，表明实现了有效的解耦。
• 该方法可高效扩展至单个受试者约41,000个MEG观测值，证明其在大规模神经影像数据集上的可行性。
• 近端更新策略成功在潜在-组映射中诱导出真实稀疏性，实现了对特定脑区的可解释特征归因。