[论文解读] Mask is All You Need: Rethinking Mask R-CNN for Dense and Arbitrary-Shaped Scene Text Detection

Xugong Qin, Yu Zhou+6 more|arXiv (Cornell University)|Sep 8, 2021

Handwritten Text Recognition Techniques参考文献 71被引用 4

一句话总结

本文提出MAYOR，一种重新构想的Mask R-CNN框架，用于密集且任意形状的场景文本检测，解决了两个关键局限：掩码头中的学习混淆问题以及极端长宽比文本的锚框匹配不佳问题。通过用MLP解码器替代去卷积-卷积解码器，并引入实例感知掩码学习，MAYOR在五个基准测试中实现了最先进性能，包括在DAST1500上达到88.3%的F1值，在使用外部数据的情况下在Total-Text上达到88.9%的F1值。

ABSTRACT

Due to the large success in object detection and instance segmentation, Mask R-CNN attracts great attention and is widely adopted as a strong baseline for arbitrary-shaped scene text detection and spotting. However, two issues remain to be settled. The first is dense text case, which is easy to be neglected but quite practical. There may exist multiple instances in one proposal, which makes it difficult for the mask head to distinguish different instances and degrades the performance. In this work, we argue that the performance degradation results from the learning confusion issue in the mask head. We propose to use an MLP decoder instead of the "deconv-conv" decoder in the mask head, which alleviates the issue and promotes robustness significantly. And we propose instance-aware mask learning in which the mask head learns to predict the shape of the whole instance rather than classify each pixel to text or non-text. With instance-aware mask learning, the mask branch can learn separated and compact masks. The second is that due to large variations in scale and aspect ratio, RPN needs complicated anchor settings, making it hard to maintain and transfer across different datasets. To settle this issue, we propose an adaptive label assignment in which all instances especially those with extreme aspect ratios are guaranteed to be associated with enough anchors. Equipped with these components, the proposed method named MAYOR achieves state-of-the-art performance on five benchmarks including DAST1500, MSRA-TD500, ICDAR2015, CTW1500, and Total-Text.

研究动机与目标

• 为了解决在密集文本场景中多个实例落入同一提议区域时，基于Mask R-CNN的场景文本检测器性能下降的问题。
• 解决在单个RoI内预测重叠或多个实例时，掩码头中出现的学习混淆问题。
• 通过用自适应标签分配替代固定锚框设计，改进极端长宽比文本实例的锚框匹配。
• 通过增强掩码分支中的全局实例表征，实现对任意形状和弯曲文本的鲁棒检测。

提出的方法

• 用可学习的MLP解码器替代掩码头中标准的'deconv-conv'解码器，以减少特征混淆并提高掩码预测的保真度。
• 引入实例感知掩码学习，使掩码头预测整个实例的完整形状，而非将每个像素分类为文本或非文本。
• 在RPN中提出自适应标签分配（ALA），以确保极端长宽比的文本实例能与足够的锚框匹配，从而提高训练稳定性和召回率。
• 利用RoI特征表征来引导掩码头为每个实例重建完整、紧凑且分离的掩码。
• 采用交叉熵损失和Dice损失联合端到端训练模型，以优化掩码预测的准确性和边界精度。
• 在五个公开基准测试（DAST1500、MSRA-TD500、ICDAR2015、CTW1500和Total-Text）上验证方法，并在COCO上进行消融实验以评估泛化能力。

实验结果

研究问题

• RQ1 将去卷积-卷积解码器替换为MLP解码器，对密集文本场景中的掩码预测质量有何影响？
• RQ2 实例感知掩码学习是否能减少学习混淆，并改善掩码头中掩码的紧凑性和分离性？
• RQ3 自适应标签分配在多大程度上提升了对极端长宽比文本实例的检测性能？
• RQ4 与现有最先进方法相比，所提出方法在任意形状和弯曲文本检测上的表现如何？
• RQ5 该方法是否具备泛化能力，如在COCO等通用实例分割基准上表现提升所示？

主要发现

• MAYOR在DAST1500上实现了88.3%的F1值，达到最先进水平，显著优于此前的最先进方法。
• 在CTW1500上，MAYOR在无外部数据情况下达到85.3%的F1值，在使用MLT预训练后达到86.1%，优于TextSnake和DB等方法。
• 在Total-Text上，MAYOR在无外部数据情况下达到86.3%的F1值，在使用MLT预训练后达到88.9%，较SD方法高出2%，创下新的最先进水平。
• 通过减少碎片化预测，MAYOR将COCO上的掩码AP从35.1%提升至35.6%，表明其在长而细的实例上具备泛化能力。
• 消融实验表明，MLP解码器和实例感知掩码学习均对性能提升有显著贡献，尤其在密集和弯曲文本场景中表现突出。
• 自适应标签分配机制有效增加了对长而细文本的正样本分配，提升了召回率和跨数据集的鲁棒性。