[论文解读] Causal Intervention for Weakly-Supervised Semantic Segmentation

Dong Zhang, Hanwang Zhang+3 more|arXiv (Cornell University)|Sep 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 76被引用 70

一句话总结

本文提出 CONTA，一种使用后门调整的因果干预框架，去除弱监督语义分割中的上下文混淆，从而提升图像级分类器和伪掩膜并提升分割性能。

ABSTRACT

We present a causal inference framework to improve Weakly-Supervised Semantic Segmentation (WSSS). Specifically, we aim to generate better pixel-level pseudo-masks by using only image-level labels -- the most crucial step in WSSS. We attribute the cause of the ambiguous boundaries of pseudo-masks to the confounding context, e.g., the correct image-level classification of "horse" and "person" may be not only due to the recognition of each instance, but also their co-occurrence context, making the model inspection (e.g., CAM) hard to distinguish between the boundaries. Inspired by this, we propose a structural causal model to analyze the causalities among images, contexts, and class labels. Based on it, we develop a new method: Context Adjustment (CONTA), to remove the confounding bias in image-level classification and thus provide better pseudo-masks as ground-truth for the subsequent segmentation model. On PASCAL VOC 2012 and MS-COCO, we show that CONTA boosts various popular WSSS methods to new state-of-the-arts.

研究动机与目标

• 在图像级监督下，动机化并形式化上下文混淆导致的误导学习在 WSSS 中的现象。
• 提出一个因果框架（SCM）来建模像素、上下文和标签，并推导获得 P(Y|do(X)) 的方法。
• 开发 CONTA，一种基于实用的后门调整算法，从观测数据中生成更好的伪掩膜。
• 在多种基线和数据集上证明 CONTA 提升了种子区域、伪掩膜和分割掩膜的性能。

提出的方法

• 构建一个结构化因果模型，将像素级图像 X、上下文 C 与图像级标签 Y 连接起来。
• 使用后门调整 P(Y|do(X)) = sum_c P(Y|X, M=f(X,c)) P(c) 以去除混淆效应。
• 用类别特定的平均掩膜近似未观测的混淆变量集 C，产生 M_t，作为迭代的 EM 型更新。
• 迭代执行：(i) 用 P(Y|do(X)) 训练分类器；(ii) 生成 CAM 种子区域和伪掩膜；(iii) 训练分割模型；(iv) 通过方程 M_{t+1} = sum_i alpha_i c_i P(c_i) 更新混淆变量掩膜 M_t。
• research_questions_narrowed_to_2-5_queries_N/A

实验结果

研究问题

• RQ1 是否能缓解图像级分类中的上下文混淆，以生成更准确的 WSSS 伪掩膜？
• RQ2 通过 CONTA 应用后门调整因果关系，是否在多种基线下提升种子区域、伪掩膜和最终分割结果？
• RQ3 多少轮的 CONTA 迭代能在避免过拟合的前提下取得最佳改进？
• RQ4 哪些骨干网络模块和混淆变量表示能最大化 CONTA 的增益？
• RQ5 CONTA 在不同数据集（PASCAL VOC 2012 与 MS-COCO）和不同的 WSSS 模型下是否有效？

主要发现

方法	骨干网络	验证集 mIoU (%)	测试集 mIoU (%)
AffinityNet	ResNet-38	61.7	63.7
RRM	ResNet-38	62.6	62.9
SSDD	ResNet-38	64.9	65.5
SEAM	ResNet-38	64.5	65.7
IRNet	ResNet-50	63.5	64.8
IRNet+CONTA	ResNet-50	65.3	66.1
SEAM+CONTA	ResNet-38	66.1	66.7
SEC+CONTA	VGG-16	23.7	n.a.
SEAM+CONTA	ResNet-38	32.8	n.a.
IRNet+CONTA	IRNet+CONTA	33.4	n.a.

• 与基线相比，CONTA 在 PASCAL VOC 2012 上提升了 CAM 种子区域、伪掩膜和分割掩膜的性能。
• 在 VOC 2012 上，CONTA 实现了 SEAM+CONTA（ResNet-38）在验证集的 66.1% mIoU、测试集的 66.7% mIoU 的_state-of-the-art_表现（66.1% 验证，66.7% 测试。）
• 将 CONTA 应用于多种基线时，平均带来 0.9%（CAM）、2.0%（伪掩膜）和 2.0%（分割掩膜）的增益。
• 在 VOC 2012 上，IRNet+CONTA 达到 65.3% 验证集和 66.1% 测试集 mIoU；SEAM+CONTA 达到 66.1% 验证集和 66.7% 测试。
• 在 MS-COCO 上，SEC+CONTA 在验证集达到 23.7% mIoU，较此前最佳水平高出 1.3%。