[论文解读] DISCO Nets: DISsimilarity COefficient Networks

Diane Bouchacourt, Manish Kumar+1 more|arXiv (Cornell University)|Jun 8, 2016

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 3

一句话总结

DISCO 网络提出了一种新颖的概率深度学习框架，通过最小化真实后验分布与估计后验分布之间的差异性系数，对结构化预测中的不确定性进行建模。通过将训练目标针对特定任务的损失进行定制，DISCO 网络在手部姿态估计任务中优于非概率模型和现有概率模型，准确捕捉输出不确定性，并在极少架构约束下实现最先进性能。

ABSTRACT

We present a new type of probabilistic model which we call DISsimilarity COefficient Networks (DISCO Nets). DISCO Nets allow us to efficiently sample from a posterior distribution parametrised by a neural network. During training, DISCO Nets are learned by minimising the dissimilarity coefficient between the true distribution and the estimated distribution. This allows us to tailor the training to the loss related to the task at hand. We empirically show that (i) by modeling uncertainty on the output value, DISCO Nets outperform equivalent non-probabilistic predictive networks and (ii) DISCO Nets accurately model the uncertainty of the output, outperforming existing probabilistic models based on deep neural networks.

研究动机与目标

• 解决由于数据噪声或遮挡导致真实输出模糊的结构化预测任务中的不确定性建模挑战。
• 开发一种概率深度学习框架，支持高效的后验采样和不确定性量化。
• 实现与特定任务评估损失对齐的训练目标，提升泛化能力和预测性能。
• 克服现有模型（如 GAN 和 VAE）的局限性，这些模型需要复杂的架构和训练流程。
• 提供一种灵活、与架构无关的框架，可轻松适配多种带不确定性的预测任务。

提出的方法

• DISCO 网络使用神经网络参数化的分布 Q 来表示真实后验分布 P。
• 通过最小化 P 与 Q 之间的差异性系数进行模型训练，该系数源自对称且非负的损失函数。
• 该差异性系数基于 Rao 的工作，使训练目标可显式针对特定任务损失函数 Δ_task 进行定制。
• 该方法无需对抗训练或特定网络架构，具有广泛适用性。
• 后验采样效率高，因为 Q 由神经网络直接参数化。
• 该框架支持使用反向传播进行端到端训练，无需推理网络或近似后验近似。

实验结果

研究问题

• RQ1 一个显式最小化特定任务差异性系数的深度学习模型，是否能在结构化预测任务中优于非概率模型？
• RQ2 将训练目标与评估损失对齐，是否能提升在不确定或模糊预测任务中的性能？
• RQ3 DISCO 网络能否在真实场景（如从深度图像中估计手部姿态）中准确建模输出不确定性？
• RQ4 在预测准确性和训练稳定性方面，DISCO 网络与最先进概率模型（如 cGAN 和 VAE）相比表现如何？
• RQ5 DISCO 网络在无需架构修改的情况下，能在多大程度上泛化到不同架构和任务？

主要发现

• DISCO 网络在手部姿态估计任务中优于同等的非概率预测网络，实现 MeJEE 20.7 ± 0.121 mm 和 MaJEE 45.1 ± 0.246 mm 的性能。
• 尽管采用更简单的单网络架构，该模型实现了与 NYU-Prior-Refined（MeJEE: 19.7 ± 0.157 mm）和 NYU-Feedback（MeJEE: 16.0 ± 0.096 mm）相当的最先进性能。
• 在 β=1、γ=0.5 的设置下，DISCO 网络实现 93.250% 的帧在 80 mm 误差范围内，优于 NYU-Init（86.537%）和 NYU-Feedback（97.334%）的 80 mm 阈值表现。
• 基于 cGAN 的模型仅在生成器和判别器卷积层使用预训练的 DISCO 网络进行初始化且保持固定时，才能获得有竞争力的结果，表明其存在训练不稳定性和架构依赖性。
• DISCO 网络在准确性和训练可靠性方面显著优于标准 GAN 和 cGAN，证明了基于原理设计、损失定制的训练目标函数的优势。
• 该框架无需复杂推理网络或对抗训练，即可实现精确的不确定性建模，因此比现有概率模型更高效、更易部署。