[논문 리뷰] 1st Place Solution for ICDAR 2021 Competition on Mathematical Formula Detection

Yuxiang Zhong, Xianbiao Qi외 5명|arXiv (Cornell University)|2021. 07. 12.

Handwritten Text Recognition Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 ICDAR 2021 수학 공식 검출(MFD) 경쟁에서 1등을 차지한 솔루션을 제시하며, ResNeSt 백본 기반의 앵커리스 객체 검출 프레임워크인 일반화된 포칼 손실(GFL)을 활용한다. 이 방법은 샘플링 불균형 문제를 해결하기 위해 적응형 훈련 샘플 선택(ATSS)을 활용하고, 특징 피라미드 네트워크(FPN) 레벨(2–6)을 최적화하여 소형 임bedded 공식의 검출 성능을 향상시켜, 임베디드 공식에서 94.89의 F1 스코어, 고립 공식에서 98.76의 F1 스코어를 기록하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this technical report, we present our 1st place solution for the ICDAR 2021 competition on mathematical formula detection (MFD). The MFD task has three key challenges including a large scale span, large variation of the ratio between height and width, and rich character set and mathematical expressions. Considering these challenges, we used Generalized Focal Loss (GFL), an anchor-free method, instead of the anchor-based method, and prove the Adaptive Training Sampling Strategy (ATSS) and proper Feature Pyramid Network (FPN) can well solve the important issue of scale variation. Meanwhile, we also found some tricks, e.g., Deformable Convolution Network (DCN), SyncBN, and Weighted Box Fusion (WBF), were effective in MFD task. Our proposed method ranked 1st in the final 15 teams.

연구 동기 및 목표

• 문서 이미지 내에서 극단적인 척도 변화와 다양한 종횡비를 가지는 수학 공식을 검출하는 데 도전한다.
• 임베디드 공식과 고립 공식 간의 대규모 척도 격차를 다루는 데 있어 앵커 기반 객체 검출기의 한계를 극복한다.
• 기본 훈련 전략에서 발생하는 샘플링 불균형으로 인해 자주 누락되는 소형 임베디드 공식의 검출 성능을 향상시킨다.
• 특징 피라미드 네트워크(FPN) 구성 설정을 최적화하여, 짧은 변이 16 픽셀에 이르는 극소형 공식의 검출 성능을 향상시킨다.
• 아키텍처 선택과 훈련 기법의 조합을 통해 ICDAR 2021 MFD 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 변동하는 종횡비와 척도 격차를 더 잘 다룰 수 있도록, 앵커리스 및 한 단계 기반의 FCOS 아키텍처를 사용한 일반화된 포칼 손실(GFL)을 기본 검출기로 채택하여, 다양한 척도와 종횡비의 공식을 효과적으로 검출한다.
• 임의 샘플링에서 관찰되는 더 큰 공식에 대한 편향을 제거하기 위해, 긍정 샘플 분포를 균형 있게 유지하는 데 적응형 훈련 샘플 선택(ATSS)을 적용한다.
• 기본 설정(3–7)에서 벗어나 FPN을 레벨(2–6)으로 재구성하여, 짧은 변이 16 픽셀에 이르는 소형 공식도 검출할 수 있도록 한다.
• 비정상적인 모양이나 복잡한 형태의 공식에 대해 특징 표현을 향상시키기 위해 탄성 컨volution 네트워크(DCN)를 통합한다.
• 대규모 데이터셋에서의 훈련 안정성과 수렴 성능 향상을 위해 동기 배치 정규화(SyncBatchNorm, SyncBN)와 Ranger 최적화기를 적용한다.
• 예측을 정밀하게 다듬기 위해 예측 후처리로 가중 상자 융합(Weighted Box Fusion, WBF)을 사용하여 재현율을 높이되 정밀도 손실은 최소화한다.

Figure 1: Comparison of random sampling strategy and ATSS sampling. Left. positive samples with random sampling strategy; Right. positive samples with ATSS.

실험 결과

연구 질문

• RQ1 어떻게 객체 검출 프레임워크를 조정하여 수학 공식 검출에서 극단적인 척도 변화와 다양한 종횡비를 효과적으로 다룰 수 있는가?
• RQ2 특히 소형 임베디드 공식에 대해, ATSS는 임의 샘플링 대비 검출 성능 향상에 어느 정도 기여하는가?
• RQ3 MFD 작업에서 대형 고립 공식과 극소형 임베디드 공식을 동시에 검출하기 위한 최적의 FPN 구성은 무엇인가?
• RQ4 DCN, SyncBN, WBF와 같은 아키텍처 구성 요소가 수학 공식 검출 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 큰 입력 해상도와 모델 앙상블 등의 훈련 및 추론 최적화 기법의 조합이 MFD 벤치마크에서 SOTA 성능을 달성하는 데 기여할 수 있는가?

주요 결과

• 제안된 방법은 임베디드 공식에서 94.89의 F1 스코어를 기록하여, 2위 방법(94.29)에 비해 뚜렷한 우월성을 보였다. 이는 가장 도전적인 하위 작업에서의 효과성을 입증한다.
• 고립 공식에서는 98.76의 F1 스코어를 기록하여, 모든 종류의 공식에 대해 강력한 일반화 성능을 보였다.
• ATSS의 도입으로 샘플링 불균형이 감소하여, 훈련 중 소형 임베디드 공식에 충분한 긍정 샘플이 할당되었다.
• FPN을 레벨(3–7)에서 (2–6)로 전환함으로써, 짧은 변이 16 픽셀에 이르는 공식도 이전에는 검출이 불가능했던 상태에서 검출 가능해졌다.
• 가중 상자 융합(WBF)을 적용함으로써 재현율은 향상되었고 정밀도 손실은 최소화되어 전체 성능이 0.3% 향상되었다.
• 큰 입력 해상도, 최적화된 FPN, ATSS의 조합으로 기준 방법 대비 임베디드 공식에서 10.6%의 성능 격차 감소를 달성했다.

Figure 2: Illustration of the importantce of the FPN on the MFD task. (a) Input size; (b) Corresponding size in P2; (c) Corresponding size in P3. Under some small scales, some positive samples will be missed.