[논문 리뷰] ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network

Yuliang Liu, Hao Chen외 4명|arXiv (Cornell University)|2020. 02. 24.

Handwritten Text Recognition Techniques참고 문헌 44인용 수 37

한 줄 요약

ABCNet은 적응 베지에 곡선을 사용하여 임의 모양 텍스트를 실시간 엔드-투-엔드 프레임워크로 표현하고, BezierAlign으로 정밀한 특징 샘플링을 수행하며, Total-Text와 CTW1500에서 실시간 속도로 최첨단 정확도를 달성합니다.

ABSTRACT

Scene text detection and recognition has received increasing research attention. Existing methods can be roughly categorized into two groups: character-based and segmentation-based. These methods either are costly for character annotation or need to maintain a complex pipeline, which is often not suitable for real-time applications. Here we address the problem by proposing the Adaptive Bezier-Curve Network (ABCNet). Our contributions are three-fold: 1) For the first time, we adaptively fit arbitrarily-shaped text by a parameterized Bezier curve. 2) We design a novel BezierAlign layer for extracting accurate convolution features of a text instance with arbitrary shapes, significantly improving the precision compared with previous methods. 3) Compared with standard bounding box detection, our Bezier curve detection introduces negligible computation overhead, resulting in superiority of our method in both efficiency and accuracy. Experiments on arbitrarily-shaped benchmark datasets, namely Total-Text and CTW1500, demonstrate that ABCNet achieves state-of-the-art accuracy, meanwhile significantly improving the speed. In particular, on Total-Text, our realtime version is over 10 times faster than recent state-of-the-art methods with a competitive recognition accuracy. Code is available at https://tinyurl.com/AdelaiDet

연구 동기 및 목표

• 임의 모양의 장면 텍스트를 효율적으로 엔드-투-엔드로 탐지하는 동기를 부여한다.
• 곡선 텍스트를 최소한의 오버헤드로 맞추기 위한 컴팩트한 Bezier 곡선 표현을 제안한다.
• 정확한 특징 샘플링을 가능하게 하는 BezierAlign을 도입하여 경량화된 인식 가지를 가능하게 한다.
• Total-Text와 CTW1500에서 경쟁력 있거나 우수한 정확도와 실시간 성능을 입증한다.
• 비정형 텍스트 형태에 대한 학습 보강을 위한 Bezier 곡선 합성 데이터셋을 제공한다.

제안 방법

• 큐빅 Bezier 곡선으로 곡선 장면 텍스트를 여덟 개의 제어점 회귀로 표현한다.
• 다각형 어노테이션으로부터 최소 제곱 피팅을 사용하여 Bezier 곡선의 그라운드 트루스를 생성한다.
• BeizerAlign은 Bezier 곡선 경계선을 따라 특징을 정렬하는 비직사각형 샘플링 계층으로 강인한 인식을 가능하게 한다.
• BeizerAlign 특징을 통해 연결된 경량 인식 가지(CNN + BiLSTM)와 CTC 손실을 사용한다.
• 합성 및 실제 데이터를 통해 엔드-투-엔드로 학습하며 Bezier 곡선의 그라운드 트루스가 엔드-투-엔드 RoI 특징 추출을 안내한다.

실험 결과

연구 질문

• RQ1 단일 스테이지 검출기에서 큐빅 Bezier 곡선이 정향된 또는 곡선 텍스트를 정확히 표현할 수 있는가?
• RQ2 BezierAlign이 추가 계산 없이 임의 모양 텍스트에 대한 엔드-투-엔드 인식 정확도를 개선하는가?
• RQ3 BezierAlign에서 샘플링 포인트 밀도와 엔드-투-엔드 성능 및 속도 간의 트레이드오프는 무엇인가?
• RQ4 ABCNet은 Total-Text와 CTW1500에서 이전 방법들에 비해 엔드-투-엔드 탐지에서 어떤 성능을 보이는가?

주요 결과

• ABCNet은 Total-Text와 CTW1500에서 최첨단 엔드-투-엔드 텍스트 탐지 성능을 달성하며 실시간 추론을 지원한다.
• BezierAlign은 수평 샘플링이나 사변형 샘플링에 비해 인식 성능을 크게 향상시키면서도 오버헤드를 거의 증가시키지 않는다.
• Bezier 곡선 탐지는 표준 경계 상자 탐지와 비교해 거의 추가 계산이 필요하지 않다.
• Total-Text에서 실시간 단일 스케일 버전은 최근 SOTA 방법들보다 10배 이상 빠르며 정확도도 경쟁력 있다.
• ABCNet 변형(F, MS)은 속도-정확도 트레이드오프에서 우호적이며 BezierAlign이 엔드-투-엔드 이득을 주도한다.