[论文解读] Complementary Patch for Weakly Supervised Semantic Segmentation

Fei Zhang, Chaochen Gu+2 more|arXiv (Cornell University)|Aug 9, 2021

Advanced Neural Network Applications参考文献 43被引用 9

一句话总结

该论文提出了一种互补补丁（Complementary Patch, CP）表示及其对应的CP网络（CPN），仅使用图像级别标签即可增强弱监督语义分割。通过利用信息论，CPN利用具有互补隐藏补丁的图像对生成更具信息量的类激活图（CAM），在PASCAL VOC 2012验证集上达到67.8%的mIoU，测试集上达到68.5%（经CRF优化后），性能达到当前最先进水平。

ABSTRACT

Weakly Supervised Semantic Segmentation (WSSS) based on image-level labels has been greatly advanced by exploiting the outputs of Class Activation Map (CAM) to generate the pseudo labels for semantic segmentation. However, CAM merely discovers seeds from a small number of regions, which may be insufficient to serve as pseudo masks for semantic segmentation. In this paper, we formulate the expansion of object regions in CAM as an increase in information. From the perspective of information theory, we propose a novel Complementary Patch (CP) Representation and prove that the information of the sum of the CAMs by a pair of input images with complementary hidden (patched) parts, namely CP Pair, is greater than or equal to the information of the baseline CAM. Therefore, a CAM with more information related to object seeds can be obtained by narrowing down the gap between the sum of CAMs generated by the CP Pair and the original CAM. We propose a CP Network (CPN) implemented by a triplet network and three regularization functions. To further improve the quality of the CAMs, we propose a Pixel-Region Correlation Module (PRCM) to augment the contextual information by using object-region relations between the feature maps and the CAMs. Experimental results on the PASCAL VOC 2012 datasets show that our proposed method achieves a new state-of-the-art in WSSS, validating the effectiveness of our CP Representation and CPN.

研究动机与目标

• 解决弱监督语义分割中类激活图（CAM）的局限性，后者常因激活稀疏而遗漏完整物体区域。
• 通过引入基于信息论的系统性方法，克服迭代区域擦除或掩码方法效率低下与不稳定的缺点。
• 通过利用具有隐藏（补丁化）区域的图像对之间的互补信息，提升种子区域发现能力，从而改善CAM质量。
• 设计一种新型CP网络（CPN），采用三元组架构与正则化方法，最小化原始CAM与增强后CAM之间的差异。
• 通过像素-区域相关性模块（PRCM）优化分割预测，更好地捕捉特征与物体区域之间的上下文关系。

提出的方法

• 基于信息论提出互补补丁（CP）表示，理论证明：一对CP图像（具有互补隐藏补丁的两幅图像）的CAM之和所含信息量不少于原始CAM。
• 设计CP网络（CPN），采用三元组网络结构，结合三元组CP损失（TCP loss）与CP交叉正则化（CPCR），以最小化增强CAM与原始CAM之间的差距。
• 使用基于网格或超像素的补丁模板生成CP对，以控制隐藏区域的分布并确保互补性。
• 引入像素-区域相关性模块（PRCM），建模特征图像素与物体区域之间的关系，提升CAM的一致性与上下文感知能力。
• 采用随机游走与CRF后处理进一步优化伪分割掩码，提升最终mIoU得分。
• 端到端训练模型，仅使用图像级别标签，无需边界框、草图或像素级标注。

实验结果

研究问题

• RQ1 具有互补隐藏补丁的两幅图像的CAM之和，是否能提供比单个CAM更丰富的物体种子区域信息？
• RQ2 在CP框架中，补丁大小与隐藏概率如何影响信息增益与分割性能？
• RQ3 基于三元组的网络结合特定正则化方法，能否有效学习利用CP对增强CAM？
• RQ4 引入像素-区域关系建模在多大程度上提升了CAM质量与分割精度？
• RQ5 所提出的CPN在PASCAL VOC 2012等标准基准上，在弱监督设置下是否达到最先进性能？

主要发现

• CP表示通过信息论获得理论支持，证明CP对中两幅图像的CAM之和所含信息量至少不小于原始CAM。
• CPN在PASCAL VOC 2012验证集上达到67.8%的新SOTA mIoU，在测试集上经CRF优化后达到68.5%。
• 未使用CRF时，该方法在验证集上仍达到66.8% mIoU，在测试集上达到67.6%，优于MCIS及其他SOTA方法且无需额外监督。
• 当隐藏概率 $p_h$ 过低（如0.1）时性能下降，验证了理论极端情况：CP对中的一幅图像几乎与原始图像相同。
• 基于网格的补丁生成速度显著更快（0.006秒/图像），远快于基于超像素的补丁（1.45秒/图像），因此更适合实时应用。
• 像素-区域相关性模块（PRCM）通过建模特征与物体区域之间的上下文关系，有效提升了CAM的一致性与分割质量。