[论文解读] Efficient Learning of Structured Predictors in General Graphical Models

Tamir Hazan, Raquel Urtasun|arXiv (Cornell University)|Oct 8, 2012

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

该论文通过引入一种扩展对数损失函数，利用温度参数统一条件随机场（CRFs）与结构化SVM，提出了一种高效的消息传递算法，用于在一般图模型中学习结构化预测器。该方法通过伪矩匹配和分数阶熵近似，在低维原始问题与对偶问题中实现最优解收敛，在立体匹配、语义分割、形状重建和室内场景理解等任务中取得最先进性能。

ABSTRACT

In this paper we derive an efficient message-passing algorithm to learn the parameters of structured predictors in general graphical models. We define the extended log-loss, which relates the log-loss of CRFs and the hinge-loss of structured SVMs through a temperature parameter. We then investigate the primal and dual properties of the extended log-loss, showing that the dual programs of both CRFs and structured SVMs perform moment matching using different selection rules. Utilizing the graphical models of the predictors, we describe a low dimensional extended log-loss formulation, which is derived from pseudo moment matching and a fractional entropy approximation selection rule in the dual setting. We propose an efficient message-passing algorithm that is guaranteed to converge to the optimum of the low dimensional primal and dual programs. Unlike many of the existing approaches, this allows us to learn efficiently high-order graphical models, over regions of any size, and very large number of parameters. We demonstrate the effectiveness of our approach, while presenting state-of-the-art results in stereo estimation, semantic segmentation, shape reconstruction, and indoor scene understanding.

研究动机与目标

• 开发一种用于一般图模型中结构化预测器的高效学习算法。
• 通过温度参数化的扩展对数损失函数，统一CRFs与结构化SVM。
• 实现在任意区域大小和庞大参数空间下的高阶图模型学习。
• 在低维原始问题与对偶问题中实现最优解收敛。
• 在多个视觉任务中实现最先进性能，包括立体匹配与语义分割。

提出的方法

• 论文提出一种扩展对数损失函数，通过温度参数在CRFs的对数损失与结构化SVM的合页损失之间进行插值。
• 将CRFs与结构化SVM的对偶问题形式化为采用不同选择规则的矩匹配过程。
• 在对偶设置中，利用伪矩匹配与分数阶熵近似选择规则，推导出低维扩展对数损失公式。
• 该方法采用一种保证收敛至低维原始问题与对偶问题最优解的消息传递算法。
• 该算法利用预测器的图模型结构，实现在高阶与大参数量模型中的高效优化。
• 该方法设计用于处理任意大小的区域，并能高效扩展至大规模结构化预测问题。

实验结果

研究问题

• RQ1 如何通过温度参数将CRFs与结构化SVM统一于单一学习框架下？
• RQ2 在结构化预测背景下，扩展对数损失的原始问题与对偶问题具有何种性质？
• RQ3 在对偶公式中，如何通过不同选择规则调整矩匹配？
• RQ4 能否通过伪矩匹配与分数阶熵近似推导出低维扩展对数损失公式？
• RQ5 所提出的消息传递算法是否能保证在高阶图模型中收敛至最优解？

主要发现

• 所提出的消息传递算法可保证收敛至低维原始问题与对偶问题的最优解。
• 扩展对数损失函数通过温度参数成功统一了CRFs的对数损失与结构化SVM的合页损失。
• 该方法可在任意区域大小与极大约束参数数量的高阶图模型中实现高效学习。
• 该方法在立体匹配、语义分割、形状重建与室内场景理解等任务中达到最先进性能。
• 伪矩匹配与分数阶熵近似相结合，实现了低维对偶公式，同时保持了优化效率。
• 该算法在多个基准视觉任务中优于现有方法，充分证明了其实际有效性。