[论文解读] Improving Rotated Text Detection with Rotation Region Proposal Networks

Jing Huang, Viswanath Sivakumar+2 more|arXiv (Cornell University)|Nov 16, 2018

Digital Media Forensic Detection参考文献 1被引用 14

一句话总结

该论文提出了一种旋转区域建议网络（RRPN），通过用旋转框预测替代Faster R-CNN中的标准RPN，以提升场景图像中旋转文本的检测性能，采用RRoI-Align实现更优的特征对齐，并使用对称的$(-90^\circ, 90^\circ)$方向范围。该方法在保持推理速度的同时，通过int8量化和优化的CPU算子显著提升了旋转文本检测的准确率。

ABSTRACT

A significant number of images shared on social media platforms such as Facebook and Instagram contain text in various forms. It's increasingly becoming commonplace for bad actors to share misinformation, hate speech or other kinds of harmful content as text overlaid on images on such platforms. A scene-text understanding system should hence be able to handle text in various orientations that the adversary might use. Moreover, such a system can be incorporated into screen readers used to aid the visually impaired. In this work, we extend the scene-text extraction system at Facebook, Rosetta, to efficiently handle text in various orientations. Specifically, we incorporate the Rotation Region Proposal Networks (RRPN) in our text extraction pipeline and offer practical suggestions for building and deploying a model for detecting and recognizing text in arbitrary orientations efficiently. Experimental results show a significant improvement on detecting rotated text.

研究动机与目标

• 解决标准目标检测器在旋转场景文本上表现不佳的问题，特别是在低至20°的旋转角度下。
• 实现在任意方向上的文本端到端检测，以提升社交媒体平台的安全性和可访问性。
• 通过模型量化和优化算子，在支持旋转文本检测的同时保持推理效率。
• 通过更准确地处理非水平文本，降低Rosetta等文本检测系统中的错误率。

提出的方法

• 用旋转区域建议网络（RRPN）替换Faster R-CNN中的标准区域建议网络（RPN），通过五个参数$(x_c, y_c, w, h, \theta)$预测旋转框。
• 采用带双线性插值的旋转RoI对齐（RRoI-Align），避免传统RoI池化中因四舍五入误差导致的边界错位。
• 采用对称的方向范围$(-90^\circ, 90^\circ)$，自然覆盖所有实际应用中的文本旋转，避免人为的角度裁剪。
• 在RRoI-Align中引入按需填充机制及框变换方法，处理超出图像边界的旋转框。
• 应用int8量化，并实现高效的基于CPU的Caffe2算子以处理旋转框操作，确保推理速度不受影响。
• 采用混合训练策略，结合非旋转与旋转数据，并辅以实时数据增强，实现不同方向下性能的平衡。

实验结果

研究问题

• RQ1 一种可预测旋转框的改进型RPN是否能显著提升任意方向文本的检测准确率？
• RQ2 采用对称的$(-90^\circ, 90^\circ)$方向范围与非对称的$[-45^\circ, 135^\circ)$范围相比，在模型稳定性和覆盖范围方面有何差异？
• RQ3 RRoI-Align与RRoI-Pooling相比，在旋转文本的特征对齐和检测准确率方面有何影响？
• RQ4 能否通过模型量化和优化算子在不增加推理延迟的前提下实现RRPN的性能提升？
• RQ5 在混合数据集上进行训练时，旋转与非旋转文本检测准确率之间存在何种权衡？

主要发现

• RRPN模型在旋转数据集上表现出显著的检测准确率提升，最佳模型相较基线模型取得显著增益。
• 在5:1旋转增强数据集上训练的RRPN模型（比例=5）在旋转文本检测上优于基线，尽管非旋转文本性能略有下降。
• RRPN模型的int8量化未导致推理延迟的可测量增加，与基线非旋转模型相当。
• 与RRoI-Pooling相比，RRoI-Align有效减少了边界错位问题，提升了旋转框的特征提取质量。
• 对称的$(-90^\circ, 90^\circ)$方向范围实现了更自然、一致的旋转文本检测，无需人工角度映射。
• 系统可实现每秒处理超过十亿张图像的实时吞吐量，证实了其可扩展性与部署可行性。