[论文解读] Deep Structured Prediction with Nonlinear Output Transformations

Colin Graber, Ofer Meshi+1 more|arXiv (Cornell University)|Nov 1, 2018

Neural Networks and Applications被引用 10

一句话总结

本文提出了一种新颖的深度结构化预测框架，将结构化推理作为深度神经网络中的中间层，实现在保持推理过程中结构约束的同时对输出结构进行非线性变换。通过使用拉格朗日优化框架，该方法与经典推理技术保持兼容，并在OCR、图像标注、多标签分类和语义分割任务上达到最先进性能，优于标准结构化模型以及SPEN类方法。

ABSTRACT

Deep structured models are widely used for tasks like semantic segmentation, where explicit correlations between variables provide important prior information which generally helps to reduce the data needs of deep nets. However, current deep structured models are restricted by oftentimes very local neighborhood structure, which cannot be increased for computational complexity reasons, and by the fact that the output configuration, or a representation thereof, cannot be transformed further. Very recent approaches which address those issues include graphical model inference inside deep nets so as to permit subsequent non-linear output space transformations. However, optimization of those formulations is challenging and not well understood. Here, we develop a novel model which generalizes existing approaches, such as structured prediction energy networks, and discuss a formulation which maintains applicability of existing inference techniques.

研究动机与目标

• 为解决现有深度结构化模型在捕捉输出变量之间复杂非线性交互方面的局限性。
• 在深度网络中实现结构化推理，同时在优化过程中保持结构约束。
• 通过允许输出表示的隐式非线性变换，推广现有方法（如结构化预测能量网络SPENs）。
• 开发一种与经典推理技术（如动态规划和线性规划松弛）兼容的优化框架。
• 通过实证验证该模型在真实世界视觉与自然语言处理任务中相对于基线方法的优越性。

提出的方法

• 提出一种深度网络架构，其中结构化推理作为中间层执行，将来自一元网络的特征转换为结构化输出表示。
• 使用拉格朗日松弛框架优化联合目标，支持使用标准推理引擎（如动态规划和线性规划松弛）。
• 采用顶层变换网络 $T$ 对结构化输出应用非线性变换，实现对高阶依赖关系的隐式建模。
• 定义一个得分函数，结合一元特征 $H(c, w, w)$ 与通过推理获得的结构化势能 $y$，随后经过非线性变换 $T(y, w)$。
• 通过反向传播实现端到端训练，利用拉格朗日公式的可微性。
• 在多标签分类中使用全连接的成对图模型（每个标签对应二值节点），在语义分割中使用卷积残差网络。

实验结果

研究问题

• RQ1 在深度网络中将结构化推理作为中间层集成，是否能提升结构化预测任务的性能？
• RQ2 通过顶层网络 $T$ 允许对结构化输出进行非线性变换，是否能带来优于固定或线性变换的泛化性能？
• RQ3 所提出的基于拉格朗日的优化框架是否能与经典推理技术（如动态规划和LP松弛）保持兼容？
• RQ4 在性能和优化稳定性方面，该模型与SPENs及其他结构化深度学习基线相比如何？
• RQ5 该模型能否捕捉潜在势函数中未显式建模的全局结构模式？

主要发现

• 在MIRFLICKR25k图像标注数据集上，NLTop模型的平均mAP达到0.786，优于DeepStruct基线（0.762）和SPEN类推理方法（0.754）。
• NLTop模型（1,329,408个参数）优于参数更多的DeepStruct++模型（2,444,544个参数），表明性能提升源于架构设计，而非参数数量。
• 在Weizmann马匹数据集的语义分割任务中，NLStruct的平均IoU达到0.712，超过基线DeepStruct（0.689），并接近Oracle模型（0.741）。
• SPEN类推理过程（SPENInf）在分割任务中表现与NLStruct相当，但在图像标注任务中显著劣于NLTop，证实了所提优化框架的优势。
• 通过 $T$ 重新平衡固定势能，模型展现出更强的鲁棒性和表达能力，验证了其隐式学习任务特定损失函数的能力。
• 训练NLStruct模型耗时约9.2小时（图像标注）和10小时（语义分割），表明该方法在真实应用中具备可行的训练时间。