[论文解读] I3CL:Intra- and Inter-Instance Collaborative Learning for Arbitrary-shaped Scene Text Detection

Boxue Du, Jian Ye+3 more|arXiv (Cornell University)|Aug 3, 2021

Handwritten Text Recognition Techniques被引用 5

一句话总结

I3CL 提出了一种新颖的两阶段场景文本检测器，通过多感受野卷积实现实例内协同学习，并通过文本实例 Transformer 实现实例间协同学习，以解决任意形状文本中的断裂检测与背景混淆问题。其在 ArT 上达到 77.5% 的 F-measure，在 Total-Text 上达到 86.9%，在 CTW-1500 上达到 86.4%，使用 ResNeSt-101 时在 ArT 排行榜上位列第一。

ABSTRACT

Existing methods for arbitrary-shaped text detection in natural scenes face two critical issues, i.e., 1) fracture detections at the gaps in a text instance; and 2) inaccurate detections of arbitrary-shaped text instances with diverse background context. To address these issues, we propose a novel method named Intra- and Inter-Instance Collaborative Learning (I3CL). Specifically, to address the first issue, we design an effective convolutional module with multiple receptive fields, which is able to collaboratively learn better character and gap feature representations at local and long ranges inside a text instance. To address the second issue, we devise an instance-based transformer module to exploit the dependencies between different text instances and a global context module to exploit the semantic context from the shared background, which are able to collaboratively learn more discriminative text feature representation. In this way, I3CL can effectively exploit the intra- and inter-instance dependencies together in a unified end-to-end trainable framework. Besides, to make full use of the unlabeled data, we design an effective semi-supervised learning method to leverage the pseudo labels via an ensemble strategy. Without bells and whistles, experimental results show that the proposed I3CL sets new state-of-the-art results on three challenging public benchmarks, i.e., an F-measure of 77.5% on ICDAR2019-ArT, 86.9% on Total-Text, and 86.4% on CTW-1500. Notably, our I3CL with the ResNeSt-101 backbone ranked 1st place on the ICDAR2019-ArT leaderboard. The source code will be available at https://github.com/ViTAE-Transformer/ViTAE-Transformer-Scene-Text-Detection.

研究动机与目标

• 为解决由于字符间隙处特征表示薄弱导致的任意形状文本实例中断裂检测问题。
• 通过建模不同文本实例之间的长程依赖关系，提升复杂背景下的检测准确率。
• 通过单个实例内字符与间隙区域的协同学习，增强特征表示。
• 利用多个文本实例间共享的语义背景上下文，提升判别能力。
• 设计一种基于集成的伪标签策略，实现半监督学习，以在标注数据有限的情况下提升泛化能力。

提出的方法

• I3CL 引入了 Intra-CL 模块，采用多感受野卷积块级联结构，联合学习单个文本实例内字符与间隙区域的特征。
• Inter-CL 模块采用基于 Transformer 的架构，用于建模同一图像中不同文本实例之间的长程依赖关系。
• 全局上下文模块捕获共享背景的语义信息，以增强实例间的特征判别能力。
• 该方法在端到端可训练的两阶段检测框架中整合了实例内与实例间协同学习机制。
• 设计了一种基于集成的伪标签策略，用于半监督学习，以有效利用未标注数据。
• 模型在三个公开基准数据集 ArT、Total-Text 和 CTW-1500 上进行训练与评估，采用 ResNet 和 ResNeSt 作为骨干网络。

实验结果

研究问题

• RQ1 在单个文本实例内进行协同学习是否能改善字符与间隙区域的特征表示，从而减少断裂检测？
• RQ2 建模不同文本实例之间的依赖关系是否能增强在复杂背景下的检测鲁棒性？
• RQ3 基于 Transformer 的模块在捕捉任意形状文本检测中的实例间关系方面是否有效？
• RQ4 能否有效利用全局背景上下文以提升文本与非文本区域之间的特征判别能力？
• RQ5 在半监督学习中，基于集成的伪标签策略是否能显著提升在标注数据有限情况下的检测性能？

主要发现

• I3CL 在 ArT 基准上取得了 77.5% 的新最先进 F-measure，位列其官方排行榜第一。
• 在 Total-Text 上，I3CL 达到 86.9% 的 F-measure，优于先前方法。
• 在 CTW-1500 上，I3CL 实现 86.4% 的 F-measure，展现出在长曲线文本上的强大泛化能力。
• 尽管计算量增加了 20.7%，I3CL 相较于 Mask R-CNN 基线模型性能提升超过 3% 的 F-measure。
• I3CL 在 CTW-1500 上实现 7.6 fps 的推理速度，同时在速度与准确率上均优于 PSENet 和 ContourNet。
• 消融实验验证了实例内与实例间协同学习组件对性能提升均至关重要。