[논문 리뷰] PGNet: Real-time Arbitrarily-Shaped Text Spotting with Point Gathering Network

Pengfei Wang, Chengquan Zhang외 8명|arXiv (Cornell University)|2021. 04. 12.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

PGNet는 문자 수준의 애너테이션, NMS, RoI 연산을 제거하기 위해 Point Gathering CTC (PG-CTC) 손실과 디코더를 도입함으로써 임의의 형태를 가진 텍스트에 대해 실시간, 단일 스포트 텍스트 스포팅 프레임워크를 제안한다. 이는 Total-Text에서 46.7 FPS의 성능을 달성하며, 문자 시퀀스의 문맥 모델링을 통해 인식 성능을 향상시키는 그래프 리파인먼트 모듈(GRM)에 의해 향상된다.

ABSTRACT

The reading of arbitrarily-shaped text has received increasing research attention. However, existing text spotters are mostly built on two-stage frameworks or character-based methods, which suffer from either Non-Maximum Suppression (NMS), Region-of-Interest (RoI) operations, or character-level annotations. In this paper, to address the above problems, we propose a novel fully convolutional Point Gathering Network (PGNet) for reading arbitrarily-shaped text in real-time. The PGNet is a single-shot text spotter, where the pixel-level character classification map is learned with proposed PG-CTC loss avoiding the usage of character-level annotations. With a PG-CTC decoder, we gather high-level character classification vectors from two-dimensional space and decode them into text symbols without NMS and RoI operations involved, which guarantees high efficiency. Additionally, reasoning the relations between each character and its neighbors, a graph refinement module (GRM) is proposed to optimize the coarse recognition and improve the end-to-end performance. Experiments prove that the proposed method achieves competitive accuracy, meanwhile significantly improving the running speed. In particular, in Total-Text, it runs at 46.7 FPS, surpassing the previous spotters with a large margin.

연구 동기 및 목표

• 임의의 형태를 가진 텍스트를 처리할 수 있는 실시간, 엔드 투 엔드 텍스트 스포팅 시스템을 개발하는 것.
• 단일 스포트, 완전 컨볼루션 아키텍처를 설계하여 NMS 및 RoI와 같은 계산 비용이 큰 연산을 제거하는 것.
• 비전형적인 독서 방향과 복잡한 텍스트 레이아웃에서의 인식 강건성 향상.
• 그래프 리파인먼트 모듈(GRM)을 활용해 문자 시퀀스의 문맥 모델링을 통해 인식 정확도 향상.
• 공개 벤치마크에서 인식 성능을 희생시키지 않고도 높은 추론 속도를 달성하는 것.

제안 방법

• 다중 작업 학습 환경에서 텍스트 중심선(TCL), 경계 오프셋(TBO), 방향 오프셋(TDO), 문자 분류 맵(TCC)을 예측하기 위해 완전 컨볼루션 네트워크(FCN)를 사용한다.
• PG-CTC 손실은 문자 수준의 애너테이션 없이도 픽셀 수준의 문자 분류 맵을 엔드 투 엔드로 훈련시킬 수 있도록 한다.
• PG-CTC 디코더는 TCL과 TDO에 의해 정의된 독서 순서를 따라 TCC 2D 맵의 포인트를 수집함으로써 문자 확률의 시퀀스로 변환한다.
• TDO 맵를 사용하여 독서 순서를 동적으로 복원함으로써 좌에서 우로 또는 위에서 아래로가 아닌 방향의 텍스트도 정확하게 인식할 수 있다.
• 그래프 리파인먼트 모듈(GRM)은 공간 그래프 신경망을 통해 문자 간 상호의존성을 모델링하고, 이웃 문자의 시각적 및 의미적 맥락을 사용해 예측을 개선한다.
• GRM은 문자 포인트 간 L2 거리 기반의 대칭 정규화 라플라시안 인접 행렬을 사용해 노드 간 관계를 정의한다.

실험 결과

연구 질문

• RQ1 단일 스포트, 엔드 투 엔드 텍스트 스포터가 높은 정확도를 유지하면서도 문자 수준의 애너테이션 없이도 작동할 수 있는가?
• RQ2 새로운 손실과 디코딩 메커니즘(PG-CTC)이 성능 저하 없이 NMS 및 RoI 연산을 대체할 수 있는가?
• RQ3 TDO를 통한 동적 독서 순서 복원이 비전형적인 방향의 텍스트 인식을 향상시킬 수 있는가?
• RQ4 기반 그래프의 보완 모듈이 문자 간 맥락적 관계를 모델링하여 인식 성능 향상에 기여하는가?
• RQ5 제안된 방법이 비정형 텍스트 벤치마크에서 실시간 추론 속도를 확보하면서도 최신 기술 수준의 정확도를 유지할 수 있는가?

주요 결과

• PGNet는 Total-Text 벤치마크에서 46.7 FPS를 기록하여 이전 최고 기술 수준의 방법들보다 뚜렷이 빠른 추론 속도를 확보했다.
• Total-Text 및 ICDAR2015에서 경쟁 가능한 인식 정확도를 달성하여 곡선 및 비정형 텍스트에 대한 강력한 일반화 능력을 입증했다.
• PG-CTC 손실은 문자 수준의 애너테이션 없이도 훈련이 가능하게 하여 데이터 애너테이션 비용을 줄였으며, 성능 유지에 기여했다.
• TDO 맵는 비전형적인 독서 방향에서의 텍스트 정확한 인식을 가능하게 하였으며, 예시에서 'MOVE'가 'EVOM'으로 잘못 인식되는 것을 방지함을 확인했다.
• GRM은 'PRT' → 'PORT' 및 'NARKET' → 'MARKET' 등의 사례에서 부족하거나 잘못된, 또는 여분의 문자를 수정함으로써 인식 성능을 향상시켰다.
• 정성적 결과는 GRM이 예측을 보완하기 위해 문자를 추가, 수정, 삭제하는 데 효과적임을 확인하였으며, 이는 엔드 투 엔드 인식에서의 효과성을 입증한다.