[论文解读] GAN Mask R-CNN:Instance semantic segmentation benefits from generativeadversarial networks

Quang Hoai Le, Kamal Youcef‐Toumi+2 more|arXiv (Cornell University)|Oct 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

本文提出 GAN Mask R-CNN，一种新颖的实例分割框架，通过将掩码预测建模为对抗生成网络（GAN）游戏，将生成对抗网络（GANs）集成到 Mask R-CNN 中，其中生成器生成掩码，判别器区分真实掩码与生成掩码。该方法为模型引入了学习到的对抗性损失，显著提升了掩码质量，尤其在边界精度、杂乱环境和细节捕捉方面表现优异，在无需架构修改的情况下，于多个领域均优于标准 Mask R-CNN。

ABSTRACT

In designing instance segmentation ConvNets that reconstruct masks, segmentation is often taken as its literal definition -- assigning label to every pixel -- for defining the loss functions. That is, using losses that compute the difference between pixels in the predicted (reconstructed) mask and the ground truth mask -- a template matching mechanism. However, any such instance segmentation ConvNet is a generator, so we can lay the problem of predicting masks as a GANs game framework: We can think the ground truth mask is drawn from the true distribution, and a ConvNet like Mask R-CNN is an implicit model that infers the true distribution. Then, designing a discriminator in front of this generator will close the loop of GANs concept and more importantly obtains a loss that is trained not hand-designed. We show this design outperforms the baseline when trying on, without extra settings, several different domains: cellphone recycling, autonomous driving, large-scale object detection, and medical glands. Further, we observe in general GANs yield masks that account for better boundaries, clutter, and small details.

研究动机与目标

• 解决实例分割中依赖于预测掩码与真实掩码之间像素级差异的损失函数设计局限性。
• 探索是否可将类似 Mask R-CNN 的实例分割模型的生成器特性整合进 GAN 框架，以提升掩码质量。
• 开发一种训练范式，用对抗性损失替代或补充传统重建损失，以实现更好的泛化能力与细节保留。
• 在包括医学影像、自动驾驶和工业物体检测在内的多样化真实世界领域中，评估该基于 GAN 的方法的有效性。

提出的方法

• 将实例分割重构为 GAN 游戏：Mask R-CNN 模型作为生成器生成掩码，同时训练一个判别器以区分真实真实掩码与生成掩码。
• 利用判别器的反馈作为学习到的、非手工设计的损失信号来训练生成器（即 Mask R-CNN），替代或补充标准的像素级重建损失。
• 以对抗方式联合训练生成器与判别器，使生成器的目标是欺骗判别器，使其将生成输出分类为真实。
• 在不修改原始架构的前提下，将 GAN 框架无缝集成到标准 Mask R-CNN 中，保持原始模型结构与推理流程不变。
• 在反向传播过程中，判别器在真实数据集掩码与生成器生成的虚假掩码上进行训练。
• 在训练过程中应用对抗性损失，以提升掩码边界质量、对杂乱环境的鲁棒性，以及对细微细节的捕捉能力。

实验结果

研究问题

• RQ1 能否有效利用类似 Mask R-CNN 的实例分割模型的生成器特性，在 GAN 框架中提升性能？
• RQ2 用对抗性损失替代或增强标准像素级损失函数，是否能提升实例分割中的掩码质量？
• RQ3 该基于 GAN 的训练方案在医学腺体、自动驾驶和工业物体检测等多样化领域中的表现如何？
• RQ4 对抗性损失是否提升了模型对精确边界预测及小尺寸或杂乱物体的处理能力？
• RQ5 该 GAN 框架是否可无缝集成到现有 Mask R-CNN 流水线中，而无需架构修改或超参数调优？

主要发现

• GAN Mask R-CNN 框架在多个领域（包括手机回收、自动驾驶、大规模物体检测和医学腺体分割）中均优于标准 Mask R-CNN。
• 对抗性损失显著提升了掩码的边界精度，并增强了对杂乱和小尺寸物体的处理能力。
• 该模型在无需架构修改或额外超参数调优的情况下实现更优性能，证明了 GAN 集成的通用性。
• 与手工设计的像素级损失相比，判别器反馈提供了更鲁棒且更具语义信息的损失信号。
• 该方法在多样化的真实世界数据集中，持续提升了掩码在细节保留与结构一致性方面的质量。