[论文解读] Learning in an Uncertain World: Representing Ambiguity Through Multiple Hypotheses

Christian Rupprecht, Iro Laina+5 more|arXiv (Cornell University)|Dec 1, 2016

Anomaly Detection Techniques and Applications参考文献 41被引用 33

一句话总结

本文提出了一种通用的多假设预测（MHP）框架，将单输出深度学习模型重新表述为可输出多个合理假设的模型，通过一种新颖的元损失函数实现端到端训练，且可使用标准反向传播。MHP 模型在多种任务中均优于单假设基线模型——包括人体姿态估计、未来预测、图像分类与分割——并通过输出空间中的 Voronoi 图分割揭示了预测的变异性。

ABSTRACT

Many prediction tasks contain uncertainty. In some cases, uncertainty is inherent in the task itself. In future prediction, for example, many distinct outcomes are equally valid. In other cases, uncertainty arises from the way data is labeled. For example, in object detection, many objects of interest often go unlabeled, and in human pose estimation, occluded joints are often labeled with ambiguous values. In this work we focus on a principled approach for handling such scenarios. In particular, we propose a framework for reformulating existing single-prediction models as multiple hypothesis prediction (MHP) models and an associated meta loss and optimization procedure to train them. To demonstrate our approach, we consider four diverse applications: human pose estimation, future prediction, image classification and segmentation. We find that MHP models outperform their single-hypothesis counterparts in all cases, and that MHP models simultaneously expose valuable insights into the variability of predictions.

研究动机与目标

• 解决视觉任务中存在多个有效预测结果的不确定性问题，例如模糊标注或多模态输出。
• 克服单假设模型因对多个模态取平均而导致预测模糊或不真实的问题。
• 提供一种通用且可 retrofitted 的框架，适用于多种网络架构与损失函数，无需对网络结构进行大规模修改。
• 通过揭示预测方差，提升模型在不确定场景下的可解释性与鲁棒性。
• 在回归、分类与分割等多种任务中实现一致的性能提升。

提出的方法

• 将单输出模型重构为多假设预测（MHP）模型，使每个输入可生成 M 个假设。
• 引入一种元损失函数，使输出空间中形成 Voronoi 图分割，最小化条件输出分布的分段常数近似。
• 通过可微分松弛对元损失中的硬分配进行近似，以支持基于梯度的优化与反向传播。
• 使用标准深度学习流程训练 MHP 模型：在共享编码器架构上使用随机梯度下降与反向传播。
• 将该框架应用于回归（如未来帧预测）、分类（如 Pascal VOC、COCO）与分割（如 FCN-8s），仅需极少的架构修改。
• 通过共享特征提取实现假设之间的信息共享，相比集成方法显著减少参数量。

实验结果

研究问题

• RQ1 是否可通过生成多个假设而非单一输出，构建统一的深度学习框架，有效表征预测中的模糊性？
• RQ2 在具有内在不确定性或模糊标注的任务中，MHP 框架相较于单假设模型在性能上有多大的提升？
• RQ3 MHP 方法在多大程度上能揭示有意义的预测方差，并提升模型的可解释性？
• RQ4 该框架在回归、多标签分类与语义分割等不同任务中的泛化能力如何？
• RQ5 在离散与高维输出空间中，增加假设数量对性能有何影响？

主要发现

• MHP 模型在所有四项评估任务中均优于单假设基线：人体姿态估计、未来帧预测、多标签分类与语义分割。
• 在 Pascal VOC 2012 上，13-MHP 模型达到 87.0% mAP，超过单假设基线（SHP）的 86.9% 与 MCL 的 69.1% 平均 IoU。
• 在 COCO 数据集的多标签分类任务中，5-MHP 模型达到 67.8% mAP，超过 SHP 基线的 65.2%，并优于 WARP 与 CNN-RNN 等先前方法。
• 在 COCO 上，9-MHP 与 13-MHP 模型因过多假设导致误报增加，mAP 略有下降，表明在稀疏标签场景下，M 过大存在权衡。
• 与 MCL 相比，MHP 框架将参数量减少 75%（134.9M vs. 539.6M），同时实现更优的分割性能（70.3% 平均 IoU vs. 69.1%）。
• 定性结果表明，MHP 模型能识别图像中多个对象，即使某一类别占主导地位，也能捕捉多样化的合理预测。