[论文解读] Few Could Be Better Than All: Feature Sampling and Grouping for Scene Text Detection

Jingqun Tang, Wenqing Zhang+5 more|arXiv (Cornell University)|Mar 29, 2022

Handwritten Text Recognition Techniques被引用 11

一句话总结

本文提出了一种基于Transformer的新型场景文本检测框架，该框架仅从多尺度特征图中选取少数代表性特征，显著降低了背景噪声和计算成本。通过使用Transformer对这些采样特征进行分组，该方法在无需NMS等后处理操作的情况下，在多个基准测试中实现了最先进性能，展现出在极端尺度和长宽比变化数据集上的卓越准确率与效率。

ABSTRACT

Recently, transformer-based methods have achieved promising progresses in object detection, as they can eliminate the post-processes like NMS and enrich the deep representations. However, these methods cannot well cope with scene text due to its extreme variance of scales and aspect ratios. In this paper, we present a simple yet effective transformer-based architecture for scene text detection. Different from previous approaches that learn robust deep representations of scene text in a holistic manner, our method performs scene text detection based on a few representative features, which avoids the disturbance by background and reduces the computational cost. Specifically, we first select a few representative features at all scales that are highly relevant to foreground text. Then, we adopt a transformer for modeling the relationship of the sampled features, which effectively divides them into reasonable groups. As each feature group corresponds to a text instance, its bounding box can be easily obtained without any post-processing operation. Using the basic feature pyramid network for feature extraction, our method consistently achieves state-of-the-art results on several popular datasets for scene text detection.

研究动机与目标

• 解决场景文本检测中极端尺度和长宽比变化的挑战。
• 通过聚焦于代表性特征，减少基于Transformer检测器的计算开销和背景干扰。
• 消除对NMS和锚框生成等后处理操作的需求。
• 通过端到端的特征采样与分组，提升检测准确率与效率。
• 将该方法的有效性扩展至航拍图像中的定向目标检测任务。

提出的方法

• 使用多尺度特征金字塔网络从主干网络中提取特征。
• 在像素级别预测置信度得分图以识别与文本相关的区域，并基于这些得分采样Top-N特征。
• 将采样后的特征与可学习的位置嵌入拼接，以保留空间上下文信息。
• 使用Transformer编码器建模采样特征之间的关系，通过自注意力机制隐式地将它们分组为实例级表示。
• 每组对应一个独立的文本实例，从而实现无需后处理的直接边界框预测。
• 整个流程端到端训练，支持特征采样与分组的联合优化。

实验结果

研究问题

• RQ1 通过仅聚焦于少数代表性特征而非全部特征，基于Transformer的检测器是否能在场景文本检测中实现更优性能？
• RQ2 特征采样是否能减少高分辨率特征图中的背景干扰并提升效率？
• RQ3 Transformer的注意力机制是否能有效将采样特征分组为有意义的文本实例表示？
• RQ4 在准确率与推理成本方面，该方法与最先进检测器相比表现如何？
• RQ5 该方法是否能泛化至其他定向目标检测任务，例如航拍图像场景理解？

主要发现

• 所提方法在ICDAR2015、ICDAR2017-MLT和EAST数据集上均达到最先进性能，多尺度测试下ICDAR2015的AP为87.42，ICDAR2017-MLT的AP为87.55。
• 在面向定向目标检测的DOTA-v1.0数据集上，该方法在多尺度测试下达到79.59 AP50，较KLD高出1.32 AP50。
• 在ICDAR2015数据集上，使用ResNet-50并进行多尺度测试时，该方法达到89.81 AP50，超越了先前的SOTA方法。
• 消融实验验证了特征采样可降低计算成本，并提升对背景噪声的鲁棒性。
• 该方法在任意形状文本和旋转文本检测任务中表现良好，展现出超越标准场景文本检测的泛化能力。
• 尽管性能优异，该方法在处理重叠文本实例时仍存在困难，原因在于特征表示相互缠绕。