[论文解读] Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond

Đ. Khuê Lê-Huu, Karteek Alahari|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出正则化Frank-Wolfe，一种用于密集条件随机场（CRFs）的新颖推理与学习算法，通过在非凸连续松弛的CRF能量上优化，推广了平均场方法与凹-凸程序，采用近似条件梯度更新。该方法实现了最先进性能，在PASCAL VOC数据集上达到88.0的平均IoU，优于平均场推理和强基准卷积神经网络（CNN）模型（如DeepLabv3+），当作为可训练层使用时表现更优。

ABSTRACT

We introduce regularized Frank-Wolfe, a general and effective algorithm for inference and learning of dense conditional random fields (CRFs). The algorithm optimizes a nonconvex continuous relaxation of the CRF inference problem using vanilla Frank-Wolfe with approximate updates, which are equivalent to minimizing a regularized energy function. Our proposed method is a generalization of existing algorithms such as mean field or concave-convex procedure. This perspective not only offers a unified analysis of these algorithms, but also allows an easy way of exploring different variants that potentially yield better performance. We illustrate this in our empirical results on standard semantic segmentation datasets, where several instantiations of our regularized Frank-Wolfe outperform mean field inference, both as a standalone component and as an end-to-end trainable layer in a neural network. We also show that dense CRFs, coupled with our new algorithms, produce significant improvements over strong CNN baselines.

研究动机与目标

• 为应对现代语义分割中更强CNN导致的密集CRF性能下降问题，开发更高效的推理与学习算法。
• 将现有推理方法（如平均场与凹-凸程序）统一于单一优化框架下。
• 实现可微分、快速收敛的CRF推理，适用于反向传播的端到端训练。
• 证明使用该算法的密集CRFs仍能显著超越强CNN基线。

提出的方法

• 提出正则化Frank-Wolfe，作为非凸连续松弛的CRF推理的条件梯度方法的一般化。
• 采用近似条件梯度更新，等价于最小化正则化能量函数，实现可微分的迭代过程。
• 通过将二值约束替换为标签分配的概率单纯形约束，对离散MAP推理问题进行连续松弛。
• 采用基于块结构的能量形式，使用一元与成对势能矩阵，完整能量以二次型表达。
• 应用步长方案，保证子线性收敛速率O(1/√k)，在强凸正则化或凹能量条件下可提升至O(1/k)。
• 设计算法以保持迭代过程的（次）可微性，支持基于梯度的学习与通过CRF层的反向传播。

实验结果

研究问题

• RQ1 统一的优化框架能否推广现有CRF推理方法（如平均场与凹-凸程序）？
• RQ2 正则化Frank-Wolfe在密集CRF推理中是否比平均场收敛更快、性能更优？
• RQ3 所提算法能否有效用作深度神经网络中可微分、可训练的层，用于语义分割？
• RQ4 使用新推理方法的密集CRFs在多大程度上能超越强CNN基线（如DeepLabv3+）？
• RQ5 正则化Frank-Wolfe的性能如何随正则化参数与迭代次数变化？

主要发现

• 所提正则化Frank-Wolfe方法在PASCAL VOC测试集上达到88.0的平均交并比（mIoU）得分，优于DeepLabv3+ CNN基线。
• 正则化Frank-Wolfe的多个实例（包括ℓ2FW与eFW）在独立运行与端到端训练设置中，性能均优于平均场推理。
• 该算法在实践中收敛迅速，20次迭代内即观察到显著能量下降，在早期迭代中优于PGD、PGM与ADMM。
• 该方法保持（次）可微分的迭代过程，支持有效的反向传播与神经网络中CRF层的端到端训练。
• 实证结果表明，使用正则化Frank-Wolfe的密集CRFs在多个数据集（包括PASCAL VOC与Cityscapes）上均实现一致性能提升。
• 该算法的理论收敛速率为O(1/√k)，在强凸正则化或凹能量函数等有利条件下可提升至O(1/k)。