[논문 리뷰] Real-Time Text Detection and Recognition

Shuonan Pei, Mingzhi Zhu|arXiv (Cornell University)|2020. 10. 31.

Handwritten Text Recognition Techniques참고 문헌 16인용 수 7

한 줄 요약

이 논문은 광학적 및 기하학적 왜곡에 대응하기 위해 YOLO 기반 객체 검출 및 딥러닝 기법을 활용한 실시간 텍스트 검출 및 인식 시스템을 제시한다. 이미지 전처리, YOLOv4를 이용한 텍스트 검출, CRNN 기반 텍스트 인식으로 구성된 3단계 파이프라인을 통해 실생활 영상 및 이미지 데이터에서 높은 정확도와 빠른 속도를 달성한다.

ABSTRACT

Inrecentyears,ConvolutionalNeuralNet-work(CNN) is quite a popular topic, as it is a powerful andintelligent technique that can be applied in various fields.The YOLO is a technique that uses the algorithms for real-time text detection tasks. However, issues like, photometricdistortion and geometric distortion, could affect the systemYOLO accuracy and cause system failure. Therefore, thereare improvements that can make the system work better. Inthis paper, we are going to present our solution - a potentialsolution of a fast and accurate real-time text direction andrecognition system. The paper covers the topic of Real-TimeText detection and recognition in three major areas: 1. videoand image preprocess, 2. Text detection, 3. Text recognition. Asa mature technique, there are many existing methods that canpotentially improve the solution. We will go through some ofthose existing methods in the literature review session. In thisway, we are presenting an industrial strength, high-accuracy,Real-Time Text Detection and recognition tool.

연구 동기 및 목표

• 광학적 및 기하학적 왜곡에 강건한 고정확도 실시간 텍스트 검출 및 인식 시스템을 개발하기 위해.
• 기존 YOLO 기반 시스템이 이미지 왜곡 하에서 성능이 저하되는 한계를 해결하기 위해.
• 전처리, 텍스트 검출, 인식을 통합한 유일한 산업용 수준의 파이프라인으로 통합하기 위해.
• 실생활 영상 및 이미지 응용 분야에서의 실시간 구현을 위해 시스템의 강건성과 추론 속도를 향상시키기 위해.

제안 방법

• 영상 및 영상에서 텍스트 인스턴스를 검출할 수 있도록 네트워크를 조정하여 YOLOv4를 활용해 실시간 텍스트 검출을 수행하기 위해.
• 검출 이전에 광학적 및 기하학적 왜곡을 완화하기 위해 이미지 전처리 기법을 구현하기 위해.
• 검출 이후 정확한 텍스트 인식을 위해 컨볼루션 순환 신경망(CRNN) 아키텍처를 사용하기 위해.
• 다양한 조명 조건 및 시점 조건에서의 모델 일반화 능력을 향상시키기 위해 데이터 증강 및 정규화를 적용하기 위해.
• 저지연성과 높은 검출 정확도를 갖춘 영상 스트림을 처리할 수 있는 엔드 투 엔드 파이프라인을 설계하기 위해.
• 정확도와 실시간 성능을 보장하기 위해 벤치마크 데이터셋에서 시스템을 검증하기 위해.

실험 결과

연구 질문

• RQ1 심한 광학적 및 기하학적 왜곡 하에서도 정확도를 유지할 수 있도록 YOLO 기반 검출을 어떻게 향상시킬 수 있는가?
• RQ2 실생활 영상 및 이미지에서 텍스트 검출 신뢰도를 향상시키는 데 가장 효과적인 전처리 기법은 무엇인가?
• RQ3 실시간 텍스트 인식에서 정확도와 속도 측면에서 CRNN이 다른 인식 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 통합된 파이프라인이 높은 검출 및 인식 정확도를 유지하면서도 실시간 추론을 달성할 수 있는가?
• RQ5 기본 성능 기준에서 제안된 시스템은 최신 기술 대비 속도와 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 표준 하드웨어에서 30 FPS 이상의 속도로 실시간 추론을 구현하며 높은 정확도를 달성한다.
• 전처리 통합으로 조명 및 시점 왜곡로 인한 오류 검출 수를 크게 감소시킨다.
• YOLOv4 기반 검출은 표준 텍스트 검출 벤치마크에서 최신 기술 수준의 mAP 점수를 확보한다.
• CRNN 기반 인식은 특히 짧고 비정규적인 모양의 텍스트 인스턴스에서 높은 정확도를 보인다.
• 엔드 투 엔드 파이프라인은 저조도 및 기울어진 이미지 포함 다양한 실생활 시나리오에서 강건성을 입증한다.
• 왜곡 하에서 기준 YOLO 모델 대비 정확도가 향상되어 제안된 개선 조치의 효과를 확인한다.