[论文解读] End-to-End Learning for Structured Prediction Energy Networks

David Belanger, Bishan Yang+1 more|arXiv (Cornell University)|Mar 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 31

一句话总结

本文提出端到端训练结构化预测能量网络（SPENs）的方法，其中能量函数为通过梯度优化反向传播训练的深度神经网络。该方法在7-Scenes图像去噪任务（40.4 PSNR）和CoNLL-2005 SRL任务（WSJ测试集80.7 F1）上达到最先进性能，优于结构化SVM基线模型，其优势在于支持非凸、高表达能力的能量函数，并可实现非精确最小化。

ABSTRACT

Structured Prediction Energy Networks (SPENs) are a simple, yet expressive family of structured prediction models (Belanger and McCallum, 2016). An energy function over candidate structured outputs is given by a deep network, and predictions are formed by gradient-based optimization. This paper presents end-to-end learning for SPENs, where the energy function is discriminatively trained by back-propagating through gradient-based prediction. In our experience, the approach is substantially more accurate than the structured SVM method of Belanger and McCallum (2016), as it allows us to use more sophisticated non-convex energies. We provide a collection of techniques for improving the speed, accuracy, and memory requirements of end-to-end SPENs, and demonstrate the power of our method on 7-Scenes image denoising and CoNLL-2005 semantic role labeling tasks. In both, inexact minimization of non-convex SPEN energies is superior to baseline methods that use simplistic energy functions that can be minimized exactly.

研究动机与目标

• 为克服SPENs中结构化SVM训练的局限性，后者在精确最小化不可行且存在边界违反时表现不佳。
• 通过反向传播穿过展开的基于梯度的能量最小化过程，实现SPENs的判别性、端到端训练。
• 开发实用技术以提升端到端SPENs的速度、准确性和内存效率。
• 在具有非局部约束和高阶交互作用的复杂结构化预测任务中验证该方法的有效性。

提出的方法

• 能量函数被定义为对输出变量y可微分的深度神经网络，从而支持基于梯度的优化。
• 通过在y上展开梯度下降进行预测，整个计算图对端到端反向传播保持可微分。
• 采用SoftPlus函数的软约束形式，将非局部输出约束（如非重叠论元）作为可微分惩罚项施加。
• 引入技术以缓解离散结构化预测凸松弛中的梯度消失问题，加速收敛，并减少训练期间的内存开销。
• 该方法支持参数共享、预训练以及每轮迭代学习率的迭代优化，以提升泛化能力和效率。
• 该方法允许能量函数与预测过程的联合优化，无需手工设计推理算法。

实验结果

研究问题

• RQ1 通过反向传播穿过基于梯度的推理过程，能否提升SPENs在具有复杂输出结构的结构化预测任务上的性能？
• RQ2 在端到端训练中，如何缓解离散结构化预测凸松弛中的梯度消失问题？
• RQ3 端到端训练的非凸、高表达能力能量函数是否能在真实任务中超越更简单、可精确最小化的能量函数？
• RQ4 可微分的约束强制机制在保持可微性的同时，能在多大程度上提升预测准确性？
• RQ5 如何在不牺牲性能的前提下，降低端到端SPENs中的内存和计算开销？

主要发现

• 在7-Scenes图像去噪任务中，SPEN模型达到40.4 PSNR，显著优于先前使用简单图像先验的工作（36.3 PSNR）。
• 在CoNLL-2005 SRL任务中，SPEN + AD3配置在WSJ测试集上达到80.7 F1，优于强基线模型（包括局部和结构化模型）。
• 采用可微分约束强制机制的SPENs在性能上与AD3和启发式方法相当，表明约束在优化过程中被有效强制执行。
• 当使用凸性正则化时，SPENs在WSJ测试集上达到80.3 F1，表明其具有鲁棒性和良好的泛化能力。
• 通过端到端反向传播训练的SPENs优于结构化SVM基线，尤其在精确最小化不可行的场景中表现更优。
• 该方法实现了跨多样化任务（包括图像去噪和语义角色标注）的统一训练与推理流程，无需为特定任务设计推理算法。