[논문 리뷰] Scene Text Image Super-Resolution in the Wild

Wenjia Wang, Enze Xie외 5명|arXiv (Cornell University)|2020. 05. 07.

Advanced Image Processing Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 실세계의 쌍체 데이터셋인 TextZoom을 제안하며, 순차적 잔차 블록, 경계 인식 손실, 중심 정렬을 갖춘 새로운 초해상도(SR) 네트워크인 TSRN을 도입한다. 이는 텍스트 인식 정확도를 향상시킨다. 실험 결과, 합성 데이터에 비해 실세계 저해상도 텍스트에서 CRNN의 정확도를 13퍼센트 이상 향상시키며, 최신 기술을 크게 능가한다.

ABSTRACT

Low-resolution text images are often seen in natural scenes such as documents captured by mobile phones. Recognizing low-resolution text images is challenging because they lose detailed content information, leading to poor recognition accuracy. An intuitive solution is to introduce super-resolution (SR) techniques as pre-processing. However, previous single image super-resolution (SISR) methods are trained on synthetic low-resolution images (e.g.Bicubic down-sampling), which is simple and not suitable for real low-resolution text recognition. To this end, we pro-pose a real scene text SR dataset, termed TextZoom. It contains paired real low-resolution and high-resolution images which are captured by cameras with different focal length in the wild. It is more authentic and challenging than synthetic data, as shown in Fig. 1. We argue improv-ing the recognition accuracy is the ultimate goal for Scene Text SR. In this purpose, a new Text Super-Resolution Network termed TSRN, with three novel modules is developed. (1) A sequential residual block is proposed to extract the sequential information of the text images. (2) A boundary-aware loss is designed to sharpen the character boundaries. (3) A central alignment module is proposed to relieve the misalignment problem in TextZoom. Extensive experiments on TextZoom demonstrate that our TSRN largely improves the recognition accuracy by over 13%of CRNN, and by nearly 9.0% of ASTER and MORAN compared to synthetic SR data. Furthermore, our TSRN clearly outperforms 7 state-of-the-art SR methods in boosting the recognition accuracy of LR images in TextZoom. For example, it outperforms LapSRN by over 5% and 8%on the recognition accuracy of ASTER and CRNN. Our results suggest that low-resolution text recognition in the wild is far from being solved, thus more research effort is needed.

연구 동기 및 목표

• 실세계 저해상도 스트리트 텍스트 인식의 격차를 메우기 위해 현실적인 초해상도 데이터셋을 구축하기 위해.
• 문자 순서와 경계 명확성이 핵심인 스트리트 텍스트를 위한 특화된 초해상도 방법을 개발하기 위해.
• 실제 환경의 복잡한 왜곡 패턴을 반영하지 못하는 합성 데이터의 한계를 극복하기 위해.
• 실제 초해상도 전처리를 통해 저해상도 이미지의 텍스트 인식 정확도를 향상시키기 위해.
• 향후 실세계 스트리트 텍스트 초해상도 분야의 연구를 위한 기준 데이터셋과 모델을 제공하기 위해.

제안 방법

• 자연 환경에서 다른 초점 거리로 촬영한 실제 저해상도 및 고해상도 스트리트 텍스트 이미지의 쌍체 데이터셋인 TextZoom을 제안한다.
• 텍스트 라인 내 문자 간 순차적 의존성을 모델링하기 위해 순차적 잔차 블록을 설계하여 더 나은 맥락 인식 특징 학습을 가능하게 한다.
• 초해상도 과정 중 문자 경계의 선명도를 향상시키기 위해 기울기 프로파일 손실(경계 인식 손실)을 도입한다.
• 카메라 이동 및 줌 인/아웃으로 인한 저해상도(LR)와 고해상도(HR) 이미지 간의 비일치를 줄이기 위해 중심 정렬 모듈을 개발한다.
• 쌍체의 실제 데이터를 사용해 TSRN 모델을 엔드 투 엔드로 훈련시키며, 시각적 품질과 인식 성능을 동시에 최적화한다.
• 훈련을 위해 고해상도 이미지의 높이를 16~32 픽셀로 선택하고, 이를 2배로 다운샘플링한 이미지를 저해상도 입력으로 사용하는 다중 해상도 전략을 적용한다.

실험 결과

연구 질문

• RQ1 실세계의 저해상도 및 고해상도 스트리트 텍스트 이미지 쌍체 데이터셋은 합성 데이터에 비해 초해상도 성능을 향상시키는가?
• RQ2 텍스트 라인 내에서 문자 간 순서적 관계를 모델링하면 초해상도 성능과 후속 인식 정확도에 어떤 영향을 미치는가?
• RQ3 기울기 프로파일 손실을 통해 경계의 선명도를 강제로 향상시키면 초해상도 이미지에서의 문자 인식 정확도에 얼마나 기여하는가?
• RQ4 실세계 스트리트 텍스트 초해상도에서 중심 정합이 비일치 아티팩트를 줄이는 데 얼마나 효과적인가?
• RQ5 실제 데이터로 훈련된 초해상도 모델은 저해상도 스트리트 텍스트에서 인식 정확도를 크게 향상시키는가?

주요 결과

• TSRN은 합성 SR 데이터를 사용하는 것에 비해 실세계 저해상도 텍스트 이미지에서 CRNN의 인식 정확도를 13퍼센트 이상 향상시킨다.
• 합성 SR 데이터를 전처리로 사용할 경우, TSRN은 ASTER와 MORAN보다 거의 9.0퍼센트 높은 인식 정확도를 달성한다.
• TextZoom 데이터셋에서 TSRN은 저해상도 스트리트 텍스트의 인식 정확도를 향상시키는 데 7종의 최신 기술 초해상도 방법을 모두 능가한다.
• TextZoom의 하드 서브셋에서 저해상도 이미지의 인식 정확도는 31.6퍼센트로 떨어지며, 실세계 왜곡의 도전성을 보여준다.
• 높이가 8 픽셀 이하인 이미지는 거의 0퍼센트의 인식 정확도를 보이며, 이는 데이터셋에서 제외하는 데 타당성을 제공한다.
• 경계 인식 손실은 문자 경계의 선명도를 크게 향상시켜 인식 성능 향상에 기여한다.