[论文解读] 1st Place Solution for ICDAR 2021 Competition on Mathematical Formula Detection

Yuxiang Zhong, Xianbiao Qi+5 more|arXiv (Cornell University)|Jul 12, 2021

Handwritten Text Recognition Techniques参考文献 19被引用 6

一句话总结

本论文展示了ICDAR 2021数学公式检测（MFD）竞赛第一名的解决方案，采用基于ResNeSt主干网络的无锚点目标检测框架，结合广义焦点损失（GFL），通过自适应训练样本选择（ATSS）缓解采样不平衡问题，并对特征金字塔网络（FPN）层级（2–6）进行优化，以提升对小型嵌入公式的检测性能，在嵌入公式上取得94.89的F1分数，在独立公式上达到98.76，性能达到当前最先进水平。

ABSTRACT

In this technical report, we present our 1st place solution for the ICDAR 2021 competition on mathematical formula detection (MFD). The MFD task has three key challenges including a large scale span, large variation of the ratio between height and width, and rich character set and mathematical expressions. Considering these challenges, we used Generalized Focal Loss (GFL), an anchor-free method, instead of the anchor-based method, and prove the Adaptive Training Sampling Strategy (ATSS) and proper Feature Pyramid Network (FPN) can well solve the important issue of scale variation. Meanwhile, we also found some tricks, e.g., Deformable Convolution Network (DCN), SyncBN, and Weighted Box Fusion (WBF), were effective in MFD task. Our proposed method ranked 1st in the final 15 teams.

研究动机与目标

• 解决文档图像中数学公式存在极端尺度变化和纵横比多样性带来的检测挑战。
• 克服基于锚点的目标检测器在处理嵌入公式与独立公式之间大规模差异时的局限性。
• 改善因标准训练策略中采样不平衡而导致常被遗漏的小型嵌入公式的检测性能。
• 优化特征金字塔网络（FPN）配置，以增强对短边小至16像素的微小公式的检测能力。
• 通过架构选择与训练技巧的结合，在ICDAR 2021 MFD基准上实现最先进性能。

提出的方法

• 采用广义焦点损失（GFL）作为基础检测器，使用无锚点、单阶段的FCOS架构，以更好地处理可变纵横比和尺度差异。
• 采用自适应训练样本选择（ATSS）以平衡各类实例的正样本分布，消除随机采样中对较大公式的偏向。
• 重新配置FPN，使用层级（2–6）而非默认的（3–7），以支持检测短边小至16像素的微小公式。
• 引入可变形卷积网络（DCN）以提升对不规则形状或复杂公式的特征表示能力。
• 应用同步批量归一化（SyncBN）和Ranger优化器，以稳定大规模数据集上的训练过程并提升收敛性。
• 使用加权框融合（WBF）后处理策略优化预测结果，提升召回率，同时保持精度损失最小。

Figure 1: Comparison of random sampling strategy and ATSS sampling. Left. positive samples with random sampling strategy; Right. positive samples with ATSS.

实验结果

研究问题

• RQ1 如何调整目标检测框架以应对数学公式检测中极端尺度变化和纵横比多样性的挑战？
• RQ2 与随机采样相比，ATSS在小尺寸嵌入公式检测上的性能提升程度如何？
• RQ3 在MFD任务中，检测独立大公式与微小嵌入公式的最优FPN配置是什么？
• RQ4 DCN、SyncBN和WBF等架构组件在数学公式检测中对性能提升的贡献如何？
• RQ5 通过输入分辨率增大和模型集成等训练与推理优化组合，能否在MFD基准上实现最先进结果？

主要发现

• 所提方法在嵌入公式上取得94.89的F1分数，显著优于第二名方法（94.29），凸显其在最具挑战性子任务上的有效性。
• 在独立公式上取得98.76的F1分数，表明其在各类公式上均具备强大的泛化能力。
• ATSS的使用减少了采样不平衡，确保训练过程中小型嵌入公式获得足够的正样本。
• 将FPN从（3–7）切换至（2–6）层级，使短边小至16像素的公式得以检测，而此前这些公式无法被识别。
• 加权框融合（WBF）通过提升召回率，使整体性能提升0.3%，同时未显著降低精度。
• 大输入分辨率、优化后的FPN与ATSS的组合，使嵌入公式检测性能较基线方法减少了10.6%的性能差距。

Figure 2: Illustration of the importantce of the FPN on the MFD task. (a) Input size; (b) Corresponding size in P2; (c) Corresponding size in P3. Under some small scales, some positive samples will be missed.