[논문 리뷰] Text Prior Guided Scene Text Image Super-resolution

Jianqi Ma, Shi Guo외 1명|arXiv (Cornell University)|2021. 06. 29.

Advanced Image Processing Techniques인용 수 15

한 줄 요약

이 논문은 장면 텍스트 이미지 초해상도 복원을 향상시키기 위해 문자 인식 모델에서 유도된 문자 확률 시퀀스를 범주형 사전지식으로 활용하는 다단계 프레임워크인 텍스트 사전지식 유도 초해상도 복원(TPGSR)을 제안한다. 텍스트 사전지식과 복원된 고해상도 이미지를 함께 개선함으로써 TPGSR는 TextZoom 벤치마크에서 시각적 품질과 문자 인식 정확도를 크게 향상시키며, 다른 데이터셋과 중국어 텍스트에 대해서도 강력한 일반화 능력을 보이며 최신 기법들을 능가한다.

ABSTRACT

Scene text image super-resolution (STISR) aims to improve the resolution and visual quality of low-resolution (LR) scene text images, and consequently boost the performance of text recognition. However, most of existing STISR methods regard text images as natural scene images, ignoring the categorical information of text. In this paper, we make an inspiring attempt to embed categorical text prior into STISR model training. Specifically, we adopt the character probability sequence as the text prior, which can be obtained conveniently from a text recognition model. The text prior provides categorical guidance to recover high-resolution (HR) text images. On the other hand, the reconstructed HR image can refine the text prior in return. Finally, we present a multi-stage text prior guided super-resolution (TPGSR) framework for STISR. Our experiments on the benchmark TextZoom dataset show that TPGSR can not only effectively improve the visual quality of scene text images, but also significantly improve the text recognition accuracy over existing STISR methods. Our model trained on TextZoom also demonstrates certain generalization capability to the LR images in other datasets.

연구 동기 및 목표

• 기존의 장면 텍스트 초해상도 복원(STISR) 기법들이 텍스트 이미지를 자연 풍경 이미지로 간주하여 그들의 범주형 텍스트 정보를 忽시하는 한계를 해결하기 위해.
• 문자 인식 확률 시퀀스를 구조적 사전지식으로 통합하여 저해상도 장면 텍스트 이미지의 시각적 품질과 가독성을 향상시키기 위해.
• 개선된 텍스트 사전지식과 향상된 고해상도 이미지가 반복적인 개선 과정을 통해 상호 보완적으로 향상되는 공동 학습 프레임워크를 개발하기 위해.
• 제안된 방법이 TextZoom 벤치마크를 초월해 실제 저해상도 이미지, 특히 다국어 및 장문 텍스트 환경에 대해 일반화 능력을 보여주기 위해.

제안 방법

• 저해상도 장면 텍스트 이미지 각각에 대해 문자 인식 모델(예: CRNN)을 사용해 문자 확률 시퀀스를 텍스트 사전지식(TP)으로 생성한다.
• 이 텍스트 사전지식은 초해상도 네트워크에 조건부 입력으로 통합되어 고해상도 이미지 복원을 안내한다.
• 제안된 TP 손실을 사용해 엔드 투 엔드 훈련이 가능한 다단계 TPGSR 프레임워크를 설계하여 텍스트 사전지식과 초해상도 이미지를 반복적으로 개선한다.
• 복원된 고해상도 이미지를 사용해 텍스트 사전지식 생성기를 미세조정함으로써 사전지식 품질을 향상시키고, 이미지 및 텍스트 사전지식 개선 간 피드백을 가능하게 한다.
• 실제 세계의 TextZoom 데이터셋에서 프레임워크를 훈련 및 평가하며, TPGSR-TSRN과 같은 최신 기법들과의 비교 및 추론 실험을 수행한다.
• 다국어 확장을 위해 ICPR2018-MTWI 데이터셋에서 다국어 CRNN 모델을 훈련시켜 중국어 및 영문자에 대한 사전지식을 생성한다.

실험 결과

연구 질문

• RQ1 문자 인식 확률 시퀀스를 범주형 사전지식으로 통합하면 장면 텍스트 이미지의 초해상도 복원 성능이 상당히 향상되는가?
• RQ2 복원된 고해상도 이미지와 텍스트 사전지식 간의 상호 개선 과정이 최종 초해상도 품질과 인식 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 TPGSR 프레임워크는 중국어 또는 한국어와 같은 다른 언어의 데이터셋 및 언어에 대해 일반화 가능한가?
• RQ4 특히 기울인, 장문, 또는 어휘 외의 텍스트 인스턴스에서의 실패 유형은 무엇인가?

주요 결과

• TextZoom 벤치마크에서 TPGSR는 최신 기법인 TSRN 대비 1.6%p의 절대적인 인식 정확도 향상을 기록했으며, TSRN의 41.1% 대비 42.7%의 정확도를 달성했다.
• 특히 TSRN이 읽을 수 있는 문자를 회복하지 못하는 어려운 케이스에서 시각적 품질과 가독성이 크게 향상되었다.
• 중국어 텍스트에 적용했을 때, TPGSR는 고해상도 참값 기준 56.1%의 인식 정확도를 기록했으며, TPGSR-TSRN의 42.7%와 TSRN의 41.1%에 비해 1.6%p의 향상을 보였다.
• 다른 데이터셋, 특히 한국어, 중국어, 반글라어 텍스트가 포함된 ICDAR-MLT 데이터셋에 대해서도 강력한 일반화 능력을 보였으며, TSRN보다 더 선명한 윤곽과 더 나은 인지 품질을 제공했다.
• 실패 케이스로는 모호한 입력에서 잘못된 텍스트 사전지식 안내, 기울임이나 다중 방향 텍스트에서 성능 저하, 매우 장문의 텍스트 시퀀스에서 왜곡이 발생하는 경우가 있다.
• 초기 결과에 따르면, TPGSR는 합성 저해상도-고해상도 쌍으로 훈련된 경우에도 TSRN보다 텍스트 스토리크를 더 잘 복원할 수 있어 상형문자 체계(예: 중국어)에 대해 잠재력을 보이고 있다.