[论文解读] How to Train Your Energy-Based Model for Regression

Fredrik Gustafsson, Martin Danelljan+2 more|arXiv (Cornell University)|May 4, 2020

Anomaly Detection Techniques and Applications参考文献 59被引用 15

一句话总结

本文提出 NCE+，一种用于回归任务中训练能量模型（EBM）的噪声对比估计新扩展，明确考虑了真实数据中的标签噪声。NCE+ 在 1D 回归、目标检测和视觉跟踪任务中显著提升性能，在 LaSOT 上达到 63.7% AUC，在 TrackingNet 上达到 78.7% 成功率，性能优于包括 SiamRCNN 在内的先前方法，且推理速度达 30 FPS。

ABSTRACT

Energy-based models (EBMs) have become increasingly popular within computer vision in recent years. While they are commonly employed for generative image modeling, recent work has applied EBMs also for regression tasks, achieving state-of-the-art performance on object detection and visual tracking. Training EBMs is however known to be challenging. While a variety of different techniques have been explored for generative modeling, the application of EBMs to regression is not a well-studied problem. How EBMs should be trained for best possible regression performance is thus currently unclear. We therefore accept the task of providing the first detailed study of this problem. To that end, we propose a simple yet highly effective extension of noise contrastive estimation, and carefully compare its performance to six popular methods from literature on the tasks of 1D regression and object detection. The results of this comparison suggest that our training method should be considered the go-to approach. We also apply our method to the visual tracking task, achieving state-of-the-art performance on five datasets. Notably, our tracker achieves 63.7% AUC on LaSOT and 78.7% Success on TrackingNet. Code is available at https://github.com/fregu856/ebms_regression.

研究动机与目标

• 解决计算机视觉领域中针对回归任务训练能量模型（EBM）缺乏系统性研究的问题。
• 通过在真实数据集中考虑标签噪声，提升回归性能，而现有 EBM 训练方法通常忽略此问题。
• 通过全面基准比较，将 NCE+ 与六种成熟的 EBM 回归训练技术进行对比。
• 通过在多个任务中展示卓越性能，确立 NCE+ 作为 EBM 回归任务的新标准训练方法。

提出的方法

• 提出 NCE+，一种改进的噪声对比估计方法，通过在训练过程中引入真实标签的噪声版本作为正样本，显式建模标签噪声。
• 训练 EBM 以区分噪声标签（y_i + ν_i）与从噪声分布中采样的负样本，采用对比学习目标函数。
• 使用深度神经网络参数化能量函数 f_θ(y|x)，以灵活建模复杂的条件分布 p(y|x;θ) ∝ exp(f_θ(y|x))。
• 在推理阶段采用梯度上升法，以 y 为变量最大化 p(y|x;θ)，从而生成准确的回归预测。
• 将 NCE+ 集成到 DiMP 跟踪框架中，构建当前最先进的视觉跟踪器，利用 EBM 对边界框预测中不确定性建模的能力。
• 在 1D 回归、目标检测（通过边界框回归）和视觉跟踪任务上评估该方法，使用标准基准和指标。

实验结果

研究问题

• RQ1 NCE+ 在 EBM 回归任务中与六种现有训练方法相比表现如何？
• RQ2 在 EBM 训练过程中考虑标签噪声是否能提升真实数据集上的回归性能？
• RQ3 NCE+ 是否能有效泛化到目标检测与视觉跟踪等复杂视觉任务？
• RQ4 与 KLD 加重要性采样或标准 NCE 等现有方法相比，NCE+ 是否更具鲁棒性和可靠性？
• RQ5 NCE+ 是否能在保持高推理速度的同时，实现视觉跟踪任务的 SOTA 性能？

主要发现

• 在 LaSOT 数据集上，NCE+ 达到 63.7% AUC，性能优于包括 SiamRCNN 在内的所有先前方法。
• 在 TrackingNet 数据集上，NCE+ 达到 78.7% 成功率，超越所有基线方法与竞争方法。
• DiMP-NCE+ 跟踪器在单张 GPU 上运行速度约为 30 FPS，展现出高性能与高效率的结合。
• NCE+ 在所有评估数据集与任务中，显著优于 KLD 加重要性采样基线与标准 NCE 方法。
• 全面比较表明，由于其鲁棒性与一致的性能增益，NCE+ 应被视为 EBM 回归任务的首选训练方法。
• 该方法在多种任务中表现优异，包括 1D 回归、目标检测与视觉跟踪，证实了其良好的泛化能力。