[论文解读] Log-barrier constrained CNNs.

Hoel Kervadec, José Dolz+4 more|arXiv (Cornell University)|Apr 8, 2019

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出了一种对数障碍约束卷积神经网络方法，通过无对偶更新的方式近似拉格朗日优化，利用无约束的对数障碍扩展来强制执行弱监督语义分割中的不等式约束。该方法在惩罚方法基础上提升了训练稳定性和准确性，对凸情况提供了理论次优性界，并在非凸问题上表现出强劲的实验性能。

ABSTRACT

This study investigates imposing inequality constraints on the outputs of CNNs for weakly supervised segmentation. In the general context of deep networks, constraints are commonly handled with penalty approaches for their simplicity, and despite their well-known limitations. Lagrangian optimization has well-established theoretical and practical advantages over penalty methods, but has been largely avoided for deep CNNs, mainly due to computational complexity and stability/convergence issues caused by alternating stochastic optimization and dual updates. Several recent studies showed that, in the context of deep CNNs, the theoretical advantages of Lagrangian optimization over simple penalties do not materialize in practice, with performances that are, surprisingly, worse. We leverage well-established concepts in interior-point methods, which approximate Lagrangian optimization with a sequence of unconstrained problems, while completely avoiding dual steps/projections. Specifically, we propose a sequence of unconstrained {\em log-barrier-extension} losses for approximating inequality-constrained CNN problems. The proposed extension has a duality-gap bound, which yields sub-optimality certificates for feasible solutions in the case of convex losses. While sub-optimality is not guaranteed for non-convex problems, the result shows that log-barrier extensions are a principled way to approximate Lagrangian optimization for constrained CNNs. Our approach addresses the well-known limitations of penalty methods and, at the same time, removes the explicit dual steps of Lagrangian optimization. We report comprehensive experiments showing that our formulation outperforms a recent penalty-based constrained CNN method, both in terms of accuracy and training stability.

研究动机与目标

• 解决基于惩罚的方法在约束卷积神经网络输出以实现弱监督语义分割时的局限性。
• 克服拉格朗日优化在深度卷积神经网络中因计算和收敛问题而受阻的挑战。
• 通过使用对数障碍扩展，开发一种有原则的、无约束的不等式约束卷积神经网络问题近似方法。
• 在凸设置下通过对偶间隙界提供次优性证明，同时在非凸场景中保持性能。
• 与现有约束卷积神经网络方法相比，提升训练稳定性和分割准确性。

提出的方法

• 该方法使用一系列无约束的对数障碍扩展损失，以近似卷积神经网络中的不等式约束。
• 它利用内点法原理，避免显式对偶变量更新和投影操作。
• 对数障碍损失函数通过对数障碍项惩罚约束违反，当约束接近时惩罚逐渐加剧。
• 通过在凸损失设置下控制对偶间隙，该方法保持了理论次优性界。
• 该公式被应用于弱监督语义分割，其中类别激活图必须满足输出约束。
• 该方法避免了拉格朗日方法中常见的交替随机优化和对偶更新带来的不稳定性。

实验结果

研究问题

• RQ1 对数障碍扩展是否能在不显式更新对偶变量的情况下，有效近似深度卷积神经网络中的拉格朗日优化？
• RQ2 与基于惩罚的约束卷积神经网络相比，所提出方法是否能提升训练稳定性和分割准确性？
• RQ3 对数障碍公式是否能在凸设置下提供次优性证书，同时在非凸问题中保持有效性？
• RQ4 在监督信号不完整的情况下，该方法在弱监督学习中的表现如何？
• RQ5 避免对偶步骤对卷积神经网络中的收敛性和优化动力学有何影响？

主要发现

• 所提出的对数障碍约束卷积神经网络方法在分割准确性和训练稳定性方面均优于近期基于惩罚的约束卷积神经网络方法。
• 在凸损失设置下，该方法通过对偶间隙界实现了次优性证书，提供了理论保证。
• 尽管在非凸情况下缺乏理论次优性，但该方法在实验中表现出强劲的性能。
• 该方法避免了拉格朗日优化中因对偶变量更新而引发的不稳定性与收敛问题。
• 对数障碍扩展有效强制执行了不等式约束，而无需显式对偶优化步骤。
• 全面的实验验证了该方法在弱监督语义分割基准中的优越性。