[논문 리뷰] Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion

Minghui Liao, Zhisheng Zou외 3명|arXiv (Cornell University)|2022. 02. 21.

Handwritten Text Recognition Techniques인용 수 12

한 줄 요약

이 논문은 실시간 스트리밍 텍스트 검출을 위한 DBNet++을 제안한다. 이는 분할 네트워크 내에서 이방형 이분화(이하 DB) 모듈을 통합하여 이분화를 공동 최적화하고, 적응형 다중 척도 특징 융합(이하 ASF) 모듈을 통해 척도에 대한 강건성을 향상시킨다. 이 방법은 다섯 가지 벤치마크에서 최신 기준 성능을 달성하며, ResNet-18을 사용할 때 CTW1500에서 F-측정치가 3.6% 향상되고, MSRA-TD500에서 2.9% 향상된다. 또한 실시간 추론을 유지한다.

ABSTRACT

Recently, segmentation-based scene text detection methods have drawn extensive attention in the scene text detection field, because of their superiority in detecting the text instances of arbitrary shapes and extreme aspect ratios, profiting from the pixel-level descriptions. However, the vast majority of the existing segmentation-based approaches are limited to their complex post-processing algorithms and the scale robustness of their segmentation models, where the post-processing algorithms are not only isolated to the model optimization but also time-consuming and the scale robustness is usually strengthened by fusing multi-scale feature maps directly. In this paper, we propose a Differentiable Binarization (DB) module that integrates the binarization process, one of the most important steps in the post-processing procedure, into a segmentation network. Optimized along with the proposed DB module, the segmentation network can produce more accurate results, which enhances the accuracy of text detection with a simple pipeline. Furthermore, an efficient Adaptive Scale Fusion (ASF) module is proposed to improve the scale robustness by fusing features of different scales adaptively. By incorporating the proposed DB and ASF with the segmentation network, our proposed scene text detector consistently achieves state-of-the-art results, in terms of both detection accuracy and speed, on five standard benchmarks.

연구 동기 및 목표

• 분할 기반 스트리밍 텍스트 검출기에서 후처리의 비효율성과 부정확성을 해결하기 위해 이분화 과정을 학습 파이프라인에 통합한다.
• 고정된 다중 척도 특징 융합을 대체하여 적응형 주의 기반 융합을 통해 텍스트 검출의 척도 강건성을 향상시킨다.
• 특히 임의의 형태와 극단적인 종횡비를 가진 텍스트에 대해 높은 검출 정확도와 실시간 추론 속도를 동시에 달성한다.
• 콘fer런스 버전인 DBNet을 보완하여 척도 일반화 능력 향상과 DB 모듈의 이론적 분석을 제공한다.

제안 방법

• 표준 임계값 기반 이분화를 대체하여 학습 가능한, 미분 가능한 임계값 맵을 제공하는 이방형 이분화(DB) 모듈을 도입하여 종단 간 최적화를 가능하게 한다.
• 예측된 임계값 맵을 사용하여 분할 맵를 이분화하기 위해 근사적인 미분 가능한 함수를 활용하며, 이분화 단계를 통해 역전파가 가능하도록 한다.
• 스테이지별 및 공간 주의를 통합하여 콘텐츠와 공간적 맥락에 기반해 다중 척도 특징을 동적으로 가중하는 적응형 척도 융합(ASF) 모듈을 제안한다.
• DB 및 ASF 모듈을 분할 기반 검출기 아키텍처에 통합하여 분할, 이분화, 특징 융합의 공동 최적화를 가능하게 한다.
• 공간적 세부 정보를 유지하기 위해 스킵 연결을 갖춘 U-Net 스타일의 인코더-디코더 백본을 사용한다.
• DB 모듈의 지도 데이터를 생성하기 위해 수축 맵 헤드를 활용하며, 텍스트 인스턴스를 중심선으로 수축시켜 학습을 용이하게 한다.

실험 결과

연구 질문

• RQ1 이분화 과정을 미분 가능하게 하고 분할과 공동 최적화함으로써 검출 정확도를 향상시킬 수 있는가?
• RQ2 고정된 특징 피라미드 융합 대비 적응형 주의 기반 다중 척도 특징 융합이 더 나은 척도 강건성을 제공하는가?
• RQ3 이방형 이분화와 적응형 척도 융합을 통합하면 정확도와 추론 속도 양면에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 다양한 척도 분포를 가진 데이터셋, 특히 극단적인 종횡비를 가진 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• ResNet-18을 사용할 때 DBNet++는 CTW1500 데이터셋에서 F-측정치가 3.6% 절대적으로 향상되었고, MSRA-TD500에서는 2.9% 향상되어 강력한 척도 강건성을 입증했다.
• ResNet-50 백본을 사용할 경우 DBNet++는 MLT-2019에서 F-측정치 87.2를 기록하여 이전 최신 기준 방법보다 1.3% 높은 성능을 달성했다.
• 모델은 실시간 추론 속도를 유지하며, MSRA-TD500 데이터셋에서 ResNet-50를 사용할 경우 29 FPS를 기록했고, 이는 이전 방법을 초월하는 정확도를 확보했다.
• ASF 모듈의 성능 향상은 데이터셋의 척도 다양성과 정확히 상관관계가 있으며, 이는 복잡한 다중 척도 환경에서의 효과성을 확인한다.
• DB 모듈는 히우리스틱 기반 후처리에 대한 의존도를 감소시켜 파이프라인을 단순화하면서도 종단 간 학습을 통해 검출 품질을 향상시킨다.
• 모델은 '내부 텍스트 안에 텍스트' 케이스에서 어려움을 겪는다. 이는 분할 기반 검출기의 알려진 한계로, 한 텍스트 인스턴스가 다른 텍스트 인스턴스에 완전히 둘러싸일 경우 특히 심각하다.