[论文解读] Closed-Form Training of Conditional Random Fields for Large Scale Image Segmentation

Alexander Kolesnikov, Matthieu Guillaumin+2 more|arXiv (Cornell University)|Mar 27, 2014

Advanced Image and Video Retrieval Techniques参考文献 27被引用 10

一句话总结

本文提出 LS-CRF，一种用于条件随机场（CRFs）的闭式、无需推理的训练方法，该方法用高效的回归问题替代了迭代的概率推理，从而实现了大规模图像分割数据集上的可扩展训练。该方法在包含超过 180,000 幅图像的大规模数据集上实现了最先进性能，证明了使用非线性模型和半监督学习进行大规模 CRF 训练在可行性和有效性方面均成立。

ABSTRACT

We present LS-CRF, a new method for very efficient large-scale training of Conditional Random Fields (CRFs). It is inspired by existing closed-form expressions for the maximum likelihood parameters of a generative graphical model with tree topology. LS-CRF training requires only solving a set of independent regression problems, for which closed-form expression as well as efficient iterative solvers are available. This makes it orders of magnitude faster than conventional maximum likelihood learning for CRFs that require repeated runs of probabilistic inference. At the same time, the models learned by our method still allow for joint inference at test time. We apply LS-CRF to the task of semantic image segmentation, showing that it is highly efficient, even for loopy models where probabilistic inference is problematic. It allows the training of image segmentation models from significantly larger training sets than had been used previously. We demonstrate this on two new datasets that form a second contribution of this paper. They consist of over 180,000 images with figure-ground segmentation annotations. Our large-scale experiments show that the possibilities of CRF-based image segmentation are far from exhausted, indicating, for example, that semi-supervised learning and the use of non-linear predictors are promising directions for achieving higher segmentation accuracy in the future.

研究动机与目标

• 为解决传统 CRF 训练中的计算瓶颈问题，其依赖重复的概率推理，在大规模、环状模型中不可行。
• 通过在优化过程中消除迭代推理的需要，实现在包含 100,000+ 幅图像的数据集上训练 CRFs。
• 探索大规模训练对 CRF 性能的影响，特别是成对势函数、非线性参数化以及半监督学习的影响。
• 创建并发布两个新的大规模基准数据集，包含超过 180,000 幅图像及前景-背景标注，以支持未来研究。

提出的方法

• LS-CRF 通过利用树状图模型的闭式解，将 CRF 参数学习重新表述为一组独立的回归问题。
• 针对超像素图中的每条边，该方法基于标签组合构建训练子问题，通过回归预测条件概率。
• 线性 CRF 参数通过闭式最小二乘解或共轭梯度等迭代求解器计算；也支持非线性参数化。
• 该方法将训练分解为可并行化的独立子问题，与标准 CRF 学习相比，显著减少了训练时间。
• 在推理阶段，学习到的回归器预测成对项的能量值，随后在标准 MAP 推理中用于分割。
• 该方法支持灵活建模，包括类别平衡采样、样本加权以及类别不平衡的处理。

实验结果

研究问题

• RQ1 能否通过消除迭代推理，使 CRF 训练在包含 100,000+ 幅图像的数据集上实现可扩展性？
• RQ2 在使用成对 CRF 势函数时，增加训练数据量是否能显著提升分割精度？
• RQ3 CRF 中的非线性参数化能否被有效训练，并相较于线性模型带来更好的分割性能？
• RQ4 通过自动生成的标注（如边界框或每张图像的标签）进行半监督学习，是否对提升基于 CRF 的图像分割性能有帮助？

主要发现

• 在 24 核工作站上，LS-CRF 在完整 DogSeg 数据集上使用成对项的训练耗时 45 分钟，而仅使用一元项的模型仅需 20 分钟，证明了其可扩展性。
• 非线性 LS-CRF 模型的分割精度高于线性模型，表明更强的表达能力可提升性能。
• 随着训练集规模增大，仅使用一元项与使用成对项的模型之间的性能差距进一步扩大，表明成对项在数据量增大时更具优势。
• 使用从边界框或每张图像标签自动生成的标注进行半监督训练，实现了 82.0–83.9% 的每类准确率，与使用人工标注数据训练的性能相当。
• 仅包含每张图像标签的图像略微降低了性能，表明此类标注可能存在潜在噪声，但仍提供了有用的信号。