[논문 리뷰] FOTS: Fast Oriented Text Spotting with a Unified Network

Xuebo Liu, Ding Liang외 4명|arXiv (Cornell University)|2018. 01. 05.

Handwritten Text Recognition Techniques참고 문헌 70인용 수 8

한 줄 요약

FOTS는 새로운 RoIRotate 연산자를 통해 복합 특징을 공유함으로써 텍스트 검출과 인식을 동시에 수행하는 종단간(end-to-end), 통합된 딥러닝 프레임워크를 제안한다. 이 방법은 ICDAR 2015에서 기존 방법보다 5% 이상 F-측정치를 초월하며 실시간 추론(22.6 fps)을 달성했고, 단일 작업 검출 네트워크에 비해 최소한의 계산 부담을 유지한다.

ABSTRACT

Incidental scene text spotting is considered one of the most difficult and valuable challenges in the document analysis community. Most existing methods treat text detection and recognition as separate tasks. In this work, we propose a unified end-to-end trainable Fast Oriented Text Spotting (FOTS) network for simultaneous detection and recognition, sharing computation and visual information among the two complementary tasks. Specially, RoIRotate is introduced to share convolutional features between detection and recognition. Benefiting from convolution sharing strategy, our FOTS has little computation overhead compared to baseline text detection network, and the joint training method learns more generic features to make our method perform better than these two-stage methods. Experiments on ICDAR 2015, ICDAR 2017 MLT, and ICDAR 2013 datasets demonstrate that the proposed method outperforms state-of-the-art methods significantly, which further allows us to develop the first real-time oriented text spotting system which surpasses all previous state-of-the-art results by more than 5% on ICDAR 2015 text spotting task while keeping 22.6 fps.

연구 동기 및 목표

• 검출과 인식을 별개의 작업으로 간주하는 이중 단계 텍스트 스트링킹 파이프라인에서의 비효율성과 최적화되지 않은 특징 학습 문제를 해결하기 위해.
• 텍스트 검출과 인식을 하나의 종단간 훈련 가능한 네트워크로 통합하여 특징 공유와 모델 일반화를 향상시키기 위해.
• 방향성 있는 스트리트 텍스트에서 정확도를 희생시키지 않고도 실시간 추론이 가능한 계산 효율적인 시스템을 개발하기 위해.
• 특징 맵에서 방향성 있는 영역(ROI)의 특징을 추출할 수 있는 미분 가능한 RoIRotate 연산자를 도입하기 위해.
• ICDAR 2015, ICDAR 2017 MLT, ICDAR 2013 등의 표준 벤치마크에서 기존 방법보다 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 텍스트 검출 및 인식 브랜치 간에 초기 합성곱 특징을 공유하는 통합형 완전 컨volution 네트워크를 사용하여 계산량을 줄이고 특징 학습을 향상시킨다.
• 방향성 있는 바운딩 박스에서 특징을 추출할 수 있도록, 특징 맵 내에서 방향성 영역을 처리하는 미분 가능한 RoIRotate 연산자를 도입한다.
• 완전 컨볼루션 네트워크를 통해 회귀 및 분류 헤드를 사용하여 방향성 있는 바운딩 박스를 예측함으로써 텍스트 검출을 수행한다.
• RoIRotate로 추출된 특징을 RNN 인코더에 입력한 후 CTC 디코더를 통해 순서 예측을 수행하여 인식된 텍스트를 생성한다.
• 검출 및 인식 손실의 공동 지도를 통해 전체 네트워크를 종단간 훈련함으로써 상호 보완적 학습을 가능하게 한다.
• 파rameter 공유와 아키텍처 딜리게이션을 통해 모델 효율성을 향상시키며, 실시간 배포를 위한 경량 버전(FOTS RT)은 ResNet-34를 사용한다.

실험 결과

연구 질문

• RQ1 텍스트 검출과 인식의 공동 종단간 훈련이 성능 향상과 함께 추론 시간을 단축시킬 수 있는가?
• RQ2 검출과 인식 간의 특징 공유가 모델 일반화 향상과 계산 비용 감소에 얼마나 효과적인가?
• RQ3 미분 가능한 RoIRotate 연산자가 통합 네트워크에서 임의의 방향성 텍스트 영역에서 정확한 특징 추출을 가능하게 하는가?
• RQ4 검출 및 인식의 공동 지도가 복잡한 환경에서 잘못된 검출을 줄이고 정확한 국소화를 향상시키는 데 얼마나 기여하는가?
• RQ5 통합 프레임워크는 표준 벤치마크에서 정확도를 훼손하지 않고도 실시간 추론 속도를 달성할 수 있는가?

주요 결과

• FOTS는 ICDAR 2015 텍스트 스트링킹 벤치마크에서 68.5%의 F-측정치를 기록하여 이전 SOTA 방법보다 15% 이상 높게 기록했다.
• ICDAR 2015에서 FOTS RT는 실시간 모드에서 22.6 fps로 작동하여 이중 단계 기반 모델(3.7 fps)보다 뚜렷이 빠르며, 단일 검출 네트워크(7.8 fps)에 거의 근접한 속도를 기록했다.
• ICDAR 2013 및 ICDAR 2017 MLT 데이터셋에서 모든 기존 방법을 능가하며, 검출 및 스트링킹 정확도에서 일관된 성능 향상을 보였다.
• RoIRotate 연산자는 방향성 텍스트 영역에서 정밀한 특징 추출을 가능하게 하여, 인접한 텍스트 인스턴스를 분할하거나 융합하는 등의 국소화 오류를 줄였다.
• 인식 지도를 통해 문자 수준의 세부 정보를 학습함으로써 배경 패atters가 텍스트처럼 보이는 경우의 오분류를 방지하여 가짜 양성(false positive)을 감소시켰다.
• 실시간 버전에서 오직 28.79M 파라미터로도 SOTA 성능을 달성하여 높은 효율성과 확장성을 입증했다.