[论文解读] Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders

Masha Itkina, Boris Ivanovic+3 more|arXiv (Cornell University)|Oct 18, 2020

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种基于证据理论的后训练稀疏化方法，用于条件变分自编码器（CVAEs）中的离散潜在空间，以在保持多模态性的同时减少潜在样本空间。通过过滤掉未从输入特征获得直接证据的潜在类别，该方法在保持性能的同时实现了显著的稀疏性，并提升了推理效率，在准确率和稀疏性平衡方面优于softmax和sparsemax。

ABSTRACT

Discrete latent spaces in variational autoencoders have been shown to effectively capture the data distribution for many real-world problems such as natural language understanding, human intent prediction, and visual scene representation. However, discrete latent spaces need to be sufficiently large to capture the complexities of real-world data, rendering downstream tasks computationally challenging. For instance, performing motion planning in a high-dimensional latent representation of the environment could be intractable. We consider the problem of sparsifying the discrete latent space of a trained conditional variational autoencoder, while preserving its learned multimodality. As a post hoc latent space reduction technique, we use evidential theory to identify the latent classes that receive direct evidence from a particular input condition and filter out those that do not. Experiments on diverse tasks, such as image generation and human behavior prediction, demonstrate the effectiveness of our proposed technique at reducing the discrete latent sample space size of a model while maintaining its learned multimodality.

研究动机与目标

• 解决在运动规划和多智能体协同等任务中使用的条件变分自编码器（CVAEs）中高维离散潜在空间带来的计算不可行性问题。
• 在不牺牲模型学习到的多模态预测能力的前提下，后训练阶段减小离散潜在样本空间的大小。
• 在稀疏化过程中保持分布的多模态性，避免在激进过滤方法中出现的重要模式崩溃。
• 提供一种无需超参数调优或重新训练即可自动平衡稀疏性与多模态性的方法。
• 提升下游任务（如图像生成和人类行为预测）中的可解释性和推理效率。

提出的方法

• 该方法应用Dempster-Shafer证据理论，通过学习到的网络权重识别从输入特征中获得直接证据的潜在类别。
• 使用信任质量函数量化每个潜在类别子集的证据，非单元素集合表示不确定性和冲突。
• 将证据冲突作为多模态性的代理指标，仅保留具有显著证据支持的类别。
• 通过从原始softmax输出中分析性地移除证据不足的类别，推导出过滤后的分布，避免重新训练或松弛技术。
• 该方法通过依赖网络内部的证据结构来确定稀疏性，从而避免超参数调优。
• 该方法为预训练CVAE的后处理应用，无需修改训练过程，可立即用于推理。

实验结果

研究问题

• RQ1 能否利用证据理论识别并移除CVAE中未从输入特征获得直接证据的潜在类别？
• RQ2 基于证据的过滤方法对潜在空间进行稀疏化，是否能保持原始分布的多模态特性？
• RQ3 与softmax和sparsemax相比，该方法在推理性能和样本空间缩减方面表现如何？
• RQ4 该方法是否能减少运动规划等下游任务中所需的潜在样本数量，而不降低预测质量？
• RQ5 该方法在图像生成和人类轨迹预测等多样化任务中是否具有鲁棒性？

主要发现

• 所提方法平均实现了30%的潜在空间大小缩减，同时保持了与原始softmax基线相当的性能。
• 过滤后的分布保持了多模态性，表现为最小前五名似然值稳定在3.862 ± 0.419，而sparsemax为4.360 ± 0.422，后者出现模式崩溃。
• 直接采样指标（NLL、ADE、FDE）未出现显著退化：NLL为4.686 ± 0.453，ADE为0.559 ± 0.001，FDE为1.142 ± 0.002。
• 该方法在直接采样和前五名采样指标上均优于sparsemax，表明其对多模态结构的保持更优。
• 该方法无需超参数调优，由于潜在空间减小，推理速度更快，并在图像生成和行为预测任务中保持一致的性能表现。
• 实证结果证实，该方法避免了激进过滤中常见的假阴性，确保了下游应用中的安全性和可靠性。