[论文解读] Semantic Segmentation using Adversarial Networks

Pauline Luc, Camille Couprie+2 more|arXiv (Cornell University)|Nov 25, 2016

Anomaly Detection Techniques and Applications被引用 485

一句话总结

该论文通过将分割 CNN 与一个判别 Ground-truth 标签图与预测标签图的对抗网络联合训练，提出对语义分割的对抗训练，在 Stanford Background 和 PASCAL VOC 2012 上提高准确度。

ABSTRACT

Adversarial training has been shown to produce state of the art results for generative image modeling. In this paper we propose an adversarial training approach to train semantic segmentation models. We train a convolutional semantic segmentation network along with an adversarial network that discriminates segmentation maps coming either from the ground truth or from the segmentation network. The motivation for our approach is that it can detect and correct higher-order inconsistencies between ground truth segmentation maps and the ones produced by the segmentation net. Our experiments show that our adversarial training approach leads to improved accuracy on the Stanford Background and PASCAL VOC 2012 datasets.

研究动机与目标

• 推动使用对抗性训练以在分割图像中强制更高阶的一致性，超越逐像素损失。
• 开发一个框架，将标准交叉熵损失与对抗损失相结合，用于训练分割模型。
• 证明对抗方法在基准数据集上提高了分割精度。

提出的方法

• 使用混合损失：对每个像素标签的多类交叉熵加上一个对抗损失，该损失判断标签图是地真值还是分割生成。
• 训练一个分割 CNN，使对抗网络在区分预测地图与 Ground-truth 地真值地图时的难度最大化。
• 对抗模型是一个 CNN，可以仅接收标签图，或在 RGB 输入条件下接收标签图，架构包括 LargeFOV 和 SmallFOV 变体。
• 尝试对抗网络的不同输入编码（Basic、Product、Scaling）以及两种视野设置（ LargeFOV、SmallFOV ）。
• 采用交替训练方案，在训练中轮流更新分割网络与对抗网络，以稳定训练。

实验结果

研究问题

• RQ1 对抗训练是否在基准数据集上相对于标准交叉熵训练提升语义分割的准确性？
• RQ2 学习到的对抗损失是否能够捕获超越逐像素损失的更高阶依赖和空间连贯性？
• RQ3 哪些对抗网络的架构和输入编码能带来最佳性能权衡？
• RQ4 对抗训练如何影响分割输出的过拟合和边界界定？

主要发现

• 与交叉熵基线相比，对抗训练在 Stanford Background 和 PASCAL VOC 2012 上的 mean IoU 与相关指标上取得持续的增益。
• 在测试的变体中，LargeFOV 对抗架构提供了最有效的改进。
• 不同的对抗输入编码（Basic、Product、Scaling）达到相当的性能，其中 Scaling 在各种设置下提供稳健的结果。
• 对抗训练减少过拟合并改善分割地图的空间连贯性和边界清晰度。
• 在 PASCAL VOC 2012 上，选定的对抗设置在验证集上相对于基线有小但持续的增益，且在测试集上具有竞争力的结果。