[논문 리뷰] TextSR: Content-Aware Text Super-Resolution Guided by Recognition

Wenjia Wang, Enze Xie외 5명|arXiv (Cornell University)|2019. 09. 16.

Digital Media Forensic Detection참고 문헌 44인용 수 47

한 줄 요약

TextSR은 초해상도와 텍스트 인식을 공동 학습하며, 텍스트 지각(Text Perceptual Loss)을 통해 SR이 인식 친화적 텍스트 콘텐츠를 향하도록 안내하고 작은 흐릿한 텍스트의 인식을 향상시킨다.

ABSTRACT

Scene text recognition has witnessed rapid development with the advance of convolutional neural networks. Nonetheless, most of the previous methods may not work well in recognizing text with low resolution which is often seen in natural scene images. An intuitive solution is to introduce super-resolution techniques as pre-processing. However, conventional super-resolution methods in the literature mainly focus on reconstructing the detailed texture of natural images, which typically do not work well for text due to the unique characteristics of text. To tackle these problems, in this work, we propose a content-aware text super-resolution network to generate the information desired for text recognition. In particular, we design an end-to-end network that can perform super-resolution and text recognition simultaneously. Different from previous super-resolution methods, we use the loss of text recognition as the Text Perceptual Loss to guide the training of the super-resolution network, and thus it pays more attention to the text content, rather than the irrelevant background area. Extensive experiments on several challenging benchmarks demonstrate the effectiveness of our proposed method in restoring a sharp high-resolution image from a small blurred one, and show that the recognition performance clearly boosts up the performance of text recognizer. To our knowledge, this is the first work focusing on text super-resolution. Code will be released in https://github.com/xieenze/TextSR.

연구 동기 및 목표

• 텍스트가 작거나 흐릿할 때 장면 텍스트 인식을 개선하도록 동기를 부여한다.
• 초해상도와 텍스트 인식을 결합한 엔드투엔드 네트워크를 개발한다.
• 텍스트 인식 손실을 SR 제너레이터로 역전파하여 텍스트 내용을 배경보다 강조하는 Text Perceptual Loss를 도입한다.

제안 방법

• 4배 초해상도를 위한 제너레이터-디스크리미네이터 아키텍처를 사용한다.
• 텍스트 인식기(AST ER)을 통합하여 인식 피드백을 제공한다.
• 텍스트 인식 손실을 제너레이터 학습으로 역전파해 Text Perceptual Loss(TPL)를 도입한다.
• ASTER를 사용한 엔드투엔드 또는 계단식 변형으로 학습하여 SR이 인식 가능한 텍스트를 향하도록 유도한다.

실험 결과

연구 질문

• RQ1 전통적인 SR 방법과 비교하여 콘텐츠 인식 초해상도가 작은 크기이거나 흐릿한 텍스트의 인식을 개선할 수 있는가?
• RQ2 텍스트 Perceptual Loss가 일반 이미지 콘텐츠를 기반으로 하는 지각 손실보다 더 인식 친화적인 SR 출력을 낳는가?
• RQ3 텍스트 인식기와 함께 하는 엔드투엔드 학습이 표준 벤치마크에서 하류 인식 정확도에 이로운가?
• RQ4 TextSR이 인식 벤치마크에서 SRGAN 및 바이큐빅 기준선과 비교했을 때 극단적인 다운샘플링 하에서 어떤 성능을 보이는가?

주요 결과

• TextSR은 여러 데이터셋에서 PSNR과 SSIM에서 일관되게 SRGAN을 능가한다.
• TextSR은 특히 매우 작은 텍스트에서 SRGAN보다 큰 인식 향상을 보이며, 예를 들면 IC13의 20x5 이미지에서 최대 22.8%의 개선과 같이 상당한 인식 이점을 제공한다.
• Text Perceptual Loss를 활용한 엔드투엔드 또는 단계적 학습은 더 콘텐츠 인식적인 SR 결과를 만들어 IC13, IC15, SVT, SVTP, IIIT5K, CUTE와 같은 벤치마크에서 인식 성능을 향상시킨다.
• 강력한 인식기(AST ER)와 조합했을 때 TextSR은 인식 정확도를 향상시키며 탐지 시대의 이미지에도 가시적인 이득을 확장한다.
• 정성적 분석은 TextSR이 텍스트 영역에 응답을 집중시켜 SRGAN보다 더 선명하고 식별 가능한 텍스트를 생성함을 보여준다.