[논문 리뷰] Towards End-to-End Text Spotting in Natural Scenes

Peng Wang, Hui Li외 1명|arXiv (Cornell University)|2019. 06. 14.

Handwritten Text Recognition Techniques참고 문헌 65인용 수 7

한 줄 요약

이 논문은 공유된 합성곱 특징을 사용하여 단일 순방향 전파에서 동시에 텍스트를 검출하고 인식하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 인식 브랜치에 2차원 주의 메커니즘을 통합함으로써, 비정형 형태의 텍스트 내에서 문자의 정확한 위치를 파악할 수 있으며, 이는 강력한 인식과 바운딩 박스 정밀화를 가능하게 하여 정규 및 비정형 텍스트 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Text spotting in natural scene images is of great importance for many image understanding tasks. It includes two sub-tasks: text detection and recognition. In this work, we propose a unified network that simultaneously localizes and recognizes text with a single forward pass, avoiding intermediate processes such as image cropping and feature re-calculation, word separation, and character grouping. In contrast to existing approaches that consider text detection and recognition as two distinct tasks and tackle them one by one, the proposed framework settles these two tasks concurrently. The whole framework can be trained end-to-end and is able to handle text of arbitrary shapes. The convolutional features are calculated only once and shared by both detection and recognition modules. Through multi-task training, the learned features become more discriminate and improve the overall performance. By employing the $2$D attention model in word recognition, the irregularity of text can be robustly addressed. It provides the spatial location for each character, which not only helps local feature extraction in word recognition, but also indicates an orientation angle to refine text localization. Our proposed method has achieved state-of-the-art performance on several standard text spotting benchmarks, including both regular and irregular ones.

연구 동기 및 목표

• 텍스트의 형태, 방향, 레이아웃이 다양하게 변하는 자연 환경에서의 엔드 투 엔드 텍스트 스포팅 도전 과제를 해결한다.
• 중간 단계에서 자르기 및 특징 재추출에 의존하는 이단계 파이프라인의 한계를 극복한다.
• 주의 기반 국소화 및 인식을 활용하여 비정형 텍스트(예: 곡선 또는 기울인 형태)의 성능을 향상시킨다.
• 공유된 특징과 다중 작업 학습을 통해 검출 및 인식의 공동 최적화를 가능하게 한다.
• 불필요한 특징 계산을 제거하고 효율적인 아키텍처 설계를 통해 계산 비용을 줄이고 추론 속도를 향상시킨다.

제안 방법

• 검출 및 인식 브랜치 모두에 공유되는 다중 척도 특징을 추출하기 위해 ResNet-FPN 백본을 사용한다.
• 각 FPN 수준에서 텍스트 인스턴스에 대한 영역 제안을 생성하기 위해 텍스트 제안 네트워크(TPN)를 적용한다.
• 각 제안에 대해 고정 크기의 2차원 특징을 추출하기 위해 RoI 풀링을 사용한다. 이는 검출 및 인식 모두에 적용된다.
• 인식 브랜치에 2차원 주의 기반 인코더-디코더 네트워크를 도입하여 문자 위치를 국소화하고 전사 정확도를 향상시킨다.
• 주의 가중치를 활용하여 방향 및 공간 정렬을 추정함으로써, 특히 비정형 텍스트에 대해 바운딩 박스를 정밀화한다.
• 개선된 LSTM 아키텍처(감소된 파라미터 수 및 추론 시간)를 사용한 공유 특징 인코딩 전략을 채택하여 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 엔드 투 엔드 프레임워크는 정규 및 비정형 텍스트 모두에서 높은 정확도를 유지하면서 동시에 텍스트 검출 및 인식을 최적화할 수 있는가?
• RQ2 2차원 주의 메커니즘이 비정형 텍스트 인식에서 문자 간 공간 관계를 모델링하는 데 얼마나 효과적인가?
• RQ3 주의 기반 국소화가 바운딩 박스 품질을 향상시키고 정확한 초기 제안에 대한 의존도를 얼마나 줄일 수 있는가?
• RQ4 공유된 특징과 함께 다중 작업 학습을 수행할 경우, 별도의 학습보다 특징의 구분 능력과 전체 성능이 향상되는가?
• RQ5 감소된 LSTM 레이어 및 최적화된 추론 파이프라인과 같은 아키텍처 수정이 정확도를 희생시키지 않고도 속도를 크게 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 ICDAR2013(F-measure: 58.72%) 및 Total-Text(F-measure: 59.11%)를 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 바운딩 박스 정밀화 기능을 통한 성능 향상이 확인되었다.
• 주의 히트맵을 활용한 바운딩 박스 정밀화로 인해, ICDAR2013에서는 비정형 텍스트에서 약 3% 향상되었고, Total-Text에서는 약 7% 향상되었다.
• Total-Text에서 주의 맵에서 6점 다각형을 피팅하는 방식은 사각형 피팅 대비 평균 F-measure에서 0.4% 향상되었다.
• Titan X에서 720×1280 이미지당 약 0.5초의 추론 속도로, 컆퍼런스 버전 대비 약 2배 빠른 속도를 기록하였으며, 파라미터 수가 400만 개 감소하였다.
• 제거 분석 결과, 수정된 LSTM 아키텍처가 정확도에 큰 영향을 주지 않으면서도 파라미터 수와 추론 시간을 줄이는 데 성공하였다.
• 실패 사례는 주로 저대비 텍스트, 작은 크기의 텍스트, 흔하지 않은 폰트, 블러, 그리고 완벽하지 않은 주의 기반 바운딩 박스 정밀화로 인해 발생한다.