[论文解读] Deep Energy: Using Energy Functions for Unsupervised Training of DNNs

Alona Golts, Daniel Z. Freedman+1 more|arXiv (Cornell University)|May 31, 2018

Advanced Neural Network Applications参考文献 66被引用 6

一句话总结

本文提出 Deep Energy 方法，通过利用外部定义的能量函数，使深度神经网络能够使用无标签数据进行训练，从而实现图像分割和抠图等任务的无监督学习；该方法通过能量最小化端到端训练卷积神经网络，并在单次前向推理阶段实现高质量结果，无需对每张图像进行迭代优化。

ABSTRACT

The success of deep learning has been due in no small part to the availability of large annotated datasets. Thus, a major bottleneck in the current learning pipeline is the human annotation of data, which can be quite time consuming. For a given problem setting, we aim to circumvent this issue via the use of an externally specified energy function appropriate for that setting; we call this the Deep Energy approach. We show how to train a network on an entirely unlabelled dataset using such an energy function, and apply this general technique to learn CNNs for two specific tasks: seeded segmentation and image matting. Once the network parameters have been learned, we obtain a high-quality solution in a fast feed-forward style, without the need to repeatedly optimize the energy function for each image.

研究动机与目标

• 为解决深度学习中人工标注数据的瓶颈问题，实现深度网络的无监督训练。
• 开发一种通用框架，利用外部指定的能量函数指导在无标签数据集上的网络训练。
• 将该方法应用于图像分割和抠图等具体视觉任务。
• 在训练后实现无需对每张图像进行迭代优化的高质量推理结果。

提出的方法

• 该方法将网络训练表述为在无标签输入上定义的数据相关能量函数的最小化问题。
• 通过能量函数反向传播更新网络参数，实现无需标签的端到端训练。
• 能量函数编码了针对分割和抠图等任务的特定先验知识，如平滑性或一致性约束。
• 网络被训练为预测能使整个数据集上能量函数最小化的输出。
• 训练完成后，通过单次前向传播执行推理，避免对每张图像重复进行能量优化。

实验结果

研究问题

• RQ1 能否通过外部指定的能量函数有效训练深度神经网络在无标签数据上的表现？
• RQ2 该方法在图像抠图和种子分割等复杂视觉任务上的泛化能力如何？
• RQ3 训练后的网络是否能在单次前向传播中产生高质量结果，而无需迭代优化？
• RQ4 与监督基线方法相比，Deep Energy 方法在无监督学习任务上的性能表现如何？

主要发现

• Deep Energy 方法成功仅通过能量函数在无标签数据上训练 CNN，完全消除了人工标注的需求。
• 该方法在种子分割和图像抠图任务上取得了具有竞争力的性能，在某些情况下甚至超过监督基线。
• 推理速度显著快于迭代能量最小化方法，因为训练后仅需一次前向传播。
• 训练后的网络在未见图像上泛化良好，无需对每张图像进行优化即可生成高质量输出。