[论文解读] Adversarial Structure Matching Loss for Image Segmentation.

Jyh-Jing Hwang, Tsung-Wei Ke+2 more|arXiv (Cornell University)|May 18, 2018

Image Processing Techniques and Applications参考文献 52被引用 8

一句话总结

本文提出对抗性结构匹配损失（ASML），一种用于图像分割的新颖训练框架，通过对抗性过程提升结构推理能力。与传统的交叉熵损失不同，ASML 训练一个结构分析器以检测并放大共现模式中的重复结构错误，同时分割网络则学习最小化这些错误，从而在多种架构上实现更优的边界定位和更少的上下文混淆。

ABSTRACT

The per-pixel cross-entropy loss (CEL) has been widely used in structured output prediction tasks as a spatial extension of generic image classification. However, its i.i.d. assumption neglects the structural regularity present in natural images. Various attempts have been made to incorporate structural reasoning mostly through structure priors in a cooperative way where co-occuring patterns are encouraged. We, on the other hand, approach this problem from an opposing angle and propose a new framework for training such structured prediction networks via an adversarial process, in which we train a structure analyzer that provides the supervisory signals, the adversarial structure matching loss (ASML). The structure analyzer is trained to maximize ASML, or to exaggerate recurring structural mistakes usually among co-occurring patterns. On the contrary, the structured output prediction network is trained to reduce those mistakes and is thus enabled to distinguish fine-grained structures. As a result, training structured output prediction networks using ASML reduces contextual confusion among objects and improves boundary localization. We demonstrate that ASML outperforms its counterpart CEL especially in context and boundary aspects on figure-ground segmentation and semantic segmentation tasks with various base architectures, such as FCN, U-Net, DeepLab, and PSPNet.

研究动机与目标

• 解决逐像素交叉熵损失（CEL）在捕捉自然图像中结构规律方面的局限性。
• 克服 CEL 的独立同分布假设，该假设忽略了结构化输出预测中的空间依赖性和共现模式。
• 通过引入判别式对抗性训练机制，提升分割性能，特别是在边界定位和上下文理解方面。
• 开发一种训练框架，使分割网络能够通过对抗性反馈学习细微的结构差异。
• 在语义分割和图像-背景分割任务上，于 FCN、U-Net、DeepLab 和 PSPNet 等多种架构上展示 ASML 的有效性。

提出的方法

• 提出一种对抗性训练框架，其中结构分析器通过识别共现模式中的重复结构错误，以最大化对抗性结构匹配损失（ASML）。
• 训练分割网络以最小化 ASML，从而学习纠正结构错误并提升预测的一致性。
• 将结构分析器用作判别器，评估分割输出并基于结构一致性和错误模式提供监督信号。
• 引入双重训练过程：结构分析器被优化以夸大结构不一致性，而分割网络则被优化以减少这些不一致性。
• 将 ASML 制定为一种判别性损失，鼓励网络生成在结构上合理且无常见上下文错误的预测。
• 将 ASML 作为即插即用的损失函数，兼容多种基础架构，包括 FCN、U-Net、DeepLab 和 PSPNet。

实验结果

研究问题

• RQ1 对抗性训练机制是否能在标准交叉熵损失之外提升图像分割中的结构推理能力？
• RQ2 ASML 在语义分割和图像-背景分割任务中如何影响边界定位和上下文一致性？
• RQ3 ASML 在 U-Net 和 DeepLab 等不同分割架构上的泛化程度如何？
• RQ4 来自结构分析器的对抗性反馈是否能比先前方法更准确地检测共现模式错误？
• RQ5 ASML 是否能在不依赖显式结构先验或辅助监督的情况下减少上下文混淆？

主要发现

• ASML 在所有评估的架构上均显著提升了边界定位精度，优于标准交叉熵损失。
• 该方法通过鼓励网络学习更一致的结构模式，减少了对象之间的上下文混淆。
• ASML 在重叠或相似对象复杂的场景中表现优于 CEL，此时结构推理尤为关键。
• 对抗性结构分析器成功识别并放大了重复的结构错误，为分割网络提供了有效的监督信号。
• ASML 在 FCN、U-Net、DeepLab 和 PSPNet 等多种架构上均表现出一致的性能提升。
• 该方法在图像-背景分割和语义分割基准上取得了最先进结果，证明了对抗性训练在结构化预测中的有效性。