[论文解读] Deep Residual Mixture Models

Perttu Hämäläinen, Trapp, Martin+2 more|arXiv (Cornell University)|Jun 22, 2020

Hydraulic Fracturing and Reservoir Analysis参考文献 48被引用 5

一句话总结

本文提出深度残差混合模型（DRMMs），一种深度生成架构，通过引入残差连接和随机潜在变量，将高斯混合模型（GMMs）扩展至更高维数据，实现无需微调即可灵活地对任意先验、等式/不等式约束及条件变量进行后训练调节。该模型在自相似数据中随深度呈指数级容量增长，可在逆运动学和可控动画生成任务中实现高质量的约束采样。

ABSTRACT

We propose Deep Residual Mixture Models (DRMMs), a novel deep generative model architecture. Compared to other deep models, DRMMs allow more flexible conditional sampling: The model can be trained once with all variables, and then used for sampling with arbitrary combinations of conditioning variables, Gaussian priors, and (in)equality constraints. This provides new opportunities for interactive and exploratory machine learning, where one should minimize the user waiting for retraining a model. We demonstrate DRMMs in constrained multi-limb inverse kinematics and controllable generation of animations.

研究动机与目标

• 解决条件深度生成模型在条件变量变化时需重新训练的局限性。
• 通过允许在训练后自由组合先验、约束和条件变量，实现交互式与探索式机器学习。
• 通过具有指数容量增长的深度残差架构，将GMM的灵活性扩展至高维数据。
• 在真实世界动作捕捉数据上，展示模型在约束逆运动学与可控动画生成中的实用性。

提出的方法

• 构建一个深度架构，其中每一层输出一组随机潜在变量与一个残差，实现对复杂数据分布的分层建模。
• 使用残差连接，将每一层的输出与输入相加，类似于残差网络，但应用于概率生成设定中。
• 将每一层的输出建模为具有可学习分量权重、均值和协方差的高斯混合模型（GMM），以实现灵活的概率密度估计。
• 通过闭式积分方法实现后训练调节，修改分量权重以整合先验和约束，尤其适用于高斯先验与线性约束。
• 在潜在空间中采用类似向量量化的机制，以降低存储成本，同时保持跨层的可扩展性。
• 使用最大似然估计在序列数据上端到端训练模型，推理过程中无需编码器网络或显式自编码结构。

实验结果

研究问题

• RQ1 深度生成模型能否在扩展至高维数据的同时，保持GMM在后训练调节方面的灵活性？
• RQ2 DRMM中的残差架构是否能在自相似数据中实现密度模式数量随深度呈指数增长？
• RQ3 DRMM能否在不重新训练的情况下有效处理任意组合的等式与不等式约束？
• RQ4 模型深度与参数量如何影响真实世界动作捕捉与逆运动学任务中的采样质量与对数似然？
• RQ5 DRMM能否在交互式与可控生成任务（如具有动态目标的动画合成）中有效应用？

主要发现

• 随着深度增加，DRMM在样本质量（以F1分数衡量）和对数似然方面均表现出一致的提升，更深的模型在逆运动学与动作捕捉数据集上均优于浅层模型。
• 在约束逆运动学任务中，DRMM成功生成满足多个不等式与等式约束（如头部、手部与脚部位置限制）的有效姿态，且无需重新训练。
• 在动画合成任务中，一个在15万段动作捕捉片段上训练的4层DRMM可生成自然且多样的动作，包括倒走或侧向跳跃至目标的动作，即使未显式建模接触交互。
• 该模型在不同条件组合下均保持高样本质量与约束满足度，证明其在交互式场景中的灵活性。
• F1分数与对数似然随深度与模型规模增加而提升，证实更深的DRMM性能更优，尤其在具有自相似性的数据中表现更佳。
• DRMM的参数增长为深度的二次方，但在理想自相似数据（如谢尔宾斯基三角形）中，其容量呈指数级增长，模式数量按3^L随L层增长。