[论文解读] Learning Deep Structured Models

Liang-Chieh Chen, Alexander G. Schwing+2 more|arXiv (Cornell University)|Jul 9, 2014

Domain Adaptation and Few-Shot Learning参考文献 50被引用 114

一句话总结

该论文提出了一种联合学习框架，将深度神经网络与马尔可夫随机场（MRFs）相结合，以建模输出变量之间的依赖关系，采用一种混合优化策略，通过GPU加速的梯度下降同步学习与推理。该方法在从噪声图像中进行词预测和多类图像分类任务中显著提升了性能，通过联合训练深度特征与MRF势函数，优于逐段或仅使用一元项的训练方法。

ABSTRACT

Many problems in real-world applications involve predicting several random variables which are statistically related. Markov random fields (MRFs) are a great mathematical tool to encode such relationships. The goal of this paper is to combine MRFs with deep learning algorithms to estimate complex representations while taking into account the dependencies between the output random variables. Towards this goal, we propose a training algorithm that is able to learn structured models jointly with deep features that form the MRF potentials. Our approach is efficient as it blends learning and inference and makes use of GPU acceleration. We demonstrate the effectiveness of our algorithm in the tasks of predicting words from noisy images, as well as multi-class classification of Flickr photographs. We show that joint learning of the deep features and the MRF parameters results in significant performance gains.

研究动机与目标

• 为解决深度学习中分段训练的局限性，即特征与结构化依赖关系分别学习，导致性能次优。
• 实现端到端学习深度表征与MRF势函数，以捕捉输出变量之间的统计依赖关系。
• 开发一种高效的优化算法，融合学习与推理，实现深度结构化模型的可扩展训练。
• 在真实视觉任务中，证明联合训练相较于仅使用一元项或两步训练方法的优越性。

提出的方法

• 提出一种联合优化框架，通过单重循环算法同时训练深度神经网络特征与MRF势函数。
• 采用可微分的退火Softmax公式定义输出配置的概率分布，温度参数ε控制分布的锐度。
• 使用梯度下降最小化负对数似然，通过对数分区函数Zε(x,w)的对偶优化计算梯度。
• 应用块坐标下降法交替更新深度网络权重与MRF参数，实现高效训练并支持GPU加速。
• 引入一种融合策略，将最大间隔学习问题重述为极小化-极大化优化问题，实现在无需每一步推理收敛的情况下进行联合更新。
• 采用基于动量的子梯度方法，结合小批量训练与ImageNet预训练初始化，以提升收敛性能。

实验结果

研究问题

• RQ1 联合学习深度特征与MRF势函数是否能在结构化预测任务中优于单独或分段训练？
• RQ2 当一般图模型中的推理为NP难问题、且分区函数计算为#P难问题时，如何实现端到端训练的高效性？
• RQ3 通过MRF势函数引入结构化依赖关系，对视觉任务中深度模型预测准确率有何影响？
• RQ4 融合学习与推理相比迭代交替方案，如何提升训练速度与收敛性？

主要发现

• 在Flickr30K数据集上，深度特征与MRF参数的联合训练将分类误差降低至7.25%，优于仅使用一元项（9.36%）和分段训练（7.70%）的方法。
• 在Word50数据集上，联合训练实现了1.11%的误差率，表明在从噪声图像中进行词预测任务中，性能持续优于基线方法。
• 学习到的MRF势函数捕捉到了有意义的语义相关性，例如“people”与“female”、“male”和“portrait”高度相关，而“sea”则与“water”、“sky”和“clouds”共现。
• 融合学习与推理显著缩短了训练时间，相比标准迭代方法，更快达到更低的负对数似然与训练误差。
• 通过利用输出之间的互补信息，该方法在多类图像分类与词预测任务中达到了最先进性能。
• 由于采用GPU加速与学习循环内近似推理，该框架具备可扩展性与高效性，支持在大规模图模型上进行训练。