[논문 리뷰] Pyramid Mask Text Detector

Jingchao Liu, Xuebo Liu외 4명|arXiv (Cornell University)|2019. 03. 28.

Handwritten Text Recognition Techniques참고 문헌 45인용 수 53

한 줄 요약

PMTD는 소프트 피라미드 텍스트 마스크와 평면 클러스터링 방법을 도입하여 2D 소프트 마스크를 정확한 3D 피라미드 텍스트 박스로 변환하고 ICDAR 데이터셋에서 최첨단 결과를 달성합니다. 이는 경계 잘못 표기 및 바운딩 박스 의존성을 줄여 이전의 Mask R-CNN 기반 방법보다 향상됩니다.

ABSTRACT

Scene text detection, an essential step of scene text recognition system, is to locate text instances in natural scene images automatically. Some recent attempts benefiting from Mask R-CNN formulate scene text detection task as an instance segmentation problem and achieve remarkable performance. In this paper, we present a new Mask R-CNN based framework named Pyramid Mask Text Detector (PMTD) to handle the scene text detection. Instead of binary text mask generated by the existing Mask R-CNN based methods, our PMTD performs pixel-level regression under the guidance of location-aware supervision, yielding a more informative soft text mask for each text instance. As for the generation of text boxes, PMTD reinterprets the obtained 2D soft mask into 3D space and introduces a novel plane clustering algorithm to derive the optimal text box on the basis of 3D shape. Experiments on standard datasets demonstrate that the proposed PMTD brings consistent and noticeable gain and clearly outperforms state-of-the-art methods. Specifically, it achieves an F-measure of 80.13% on ICDAR 2017 MLT dataset.

연구 동기 및 목표

• 자연스러운 장면에서 이진 마스크를 넘어서는 견고한 사각형 텍스트 탐지를 동기화한다.
• Mask R-CNN 기반 방법에서 바운딩 박스 예측의 경계 표기 불일치 및 오류 전파를 해결한다.
• 텍스트 인스턴스의 형태와 위치 정보를 인코딩하기 위해 소프트 피라미드 표기를 제안한다.
• 3D로 인코딩된 마스크 포인트에서 정확한 피라미드(텍스트 박스)를 회귀하기 위한 평면 클러스터링 알고리즘을 도입한다.

제안 방법

• 바이너리 텍스트 마스크를 소프트 피라미드 표지로 대체하고, 픽셀 점수는 사각형 내 거리 기반 피라미드 기하학으로 계산된다.
• 텍스트 영역 중심에서 꼭짓점을 점수 1로 두고 경계를 피라미드 바닥으로 삼아 형태와 위치를 인코드한다.
• 수용 영역을 확장하고 체커보드 아티팩트를 줄이기 위해 팽창 컨볼루션과 양선형 업샘플링으로 마스크 헤드를 수정한다.
• 소프트 피라미드 마스크에 대해 픽셀 단위 L1 손실로 학습하여 경계 표기 오차를 줄이고 회귀 안정성을 높인다.
• 테스트 중 2D 소프트 마스크를 3D 점(x,y,z)으로 재해석하고 평면 클러스터링 알고리즘을 적용해 네 개의 서포팅 평면을 맞춰 바닥 면을 얻고 그 교차가 z=0인 출력 텍스트 박스를 산출한다.
• 데이터 증강 및 텍스트 통계에 맞춘 RPN 앵커를 포함한 베이스라인 개선.

실험 결과

연구 질문

• RQ1 소프트 피라미드 표기가 Mask R-CNN 프레임워크의 이진 마스크보다 사각형 텍스트 모양을 더 잘 포착할 수 있는가?
• RQ2 3D에 내재된 텍스트 마스크에 대한 평면 클러스터링이 2D 바운딩 박스 추정이나 바운딩 박스 한정 마스크보다 더 정확한 텍스트 박스를 산출하는가?
• RQ3 PMTD는 표준 벤치마크(ICDAR 2017 MLT, ICDAR 2015, ICDAR 2013)에서 최신 방법에 비해 어떻게 성능을 보이는가?

주요 결과

• PMTD는 ICDAR 2017 MLT에서 다중 스케일 테스트로 F-측정이 80.13으로 최첨단을 달성한다.
• PMTD는 ICDAR 2017 MLT에서 베이스라인 Mask R-CNN 대비 약 1.6포인트의 F-측정 이득을 보이고 ICDAR 2015 및 ICDAR 2013 데이터셋에서도 일관된 이득을 보인다.
• 소프트 피라미드 표지는 경계 표기 오차를 줄이고 바운딩 박스 정확도를 향상시키며 특히 더 높은 IoU 임계값에서 효과가 크다.
• 평면 클러스터링은 3D 표현으로부터 회귀하여 더 정확한 텍스트 박스를 제공하고 바운딩 박스 부정확성에 강인성을 보여준다.
• PMTD는 ICDAR 벤치마크를 통해 여러 베이스라인 및 이전 최첨단 방법보다 우수하며, 특히 IoU 0.8 같은 높은 임계값에서 큰 개선이 있다.
• 소프트 라벨링과 평면 클러스터링의 기여를 확인하는 비교 실험이 전체 성능에 기여한다.