[논문 리뷰] A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution

Jianqi Ma, Zhetong Liang외 1명|arXiv (Cornell University)|2022. 03. 17.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 공간적으로 변형된 텍스트(예: 기울임, 곡선 모양)의 초해상도 복원을 위해 CNN-Transformer 하이브리드 네트워크인 TATT를 제안한다. 전역적 어텐션 메커니즘을 통해 텍스트 의미 정보를 활용함으로써 재구성 성능을 향상시키며, PSNR, SSIM 및 후속 텍스트 인식 정확도에서 최신 기술 수준을 달성한다. 특히 도전적인 변형 상황에서 뛰어난 성능을 보인다.

ABSTRACT

Scene text image super-resolution aims to increase the resolution and readability of the text in low-resolution images. Though significant improvement has been achieved by deep convolutional neural networks (CNNs), it remains difficult to reconstruct high-resolution images for spatially deformed texts, especially rotated and curve-shaped ones. This is because the current CNN-based methods adopt locality-based operations, which are not effective to deal with the variation caused by deformations. In this paper, we propose a CNN based Text ATTention network (TATT) to address this problem. The semantics of the text are firstly extracted by a text recognition module as text prior information. Then we design a novel transformer-based module, which leverages global attention mechanism, to exert the semantic guidance of text prior to the text reconstruction process. In addition, we propose a text structure consistency loss to refine the visual appearance by imposing structural consistency on the reconstructions of regular and deformed texts. Experiments on the benchmark TextZoom dataset show that the proposed TATT not only achieves state-of-the-art performance in terms of PSNR/SSIM metrics, but also significantly improves the recognition accuracy in the downstream text recognition task, particularly for text instances with multi-orientation and curved shapes. Code is available at https://github.com/mjq11302010044/TATT.

연구 동기 및 목표

• 현재 CNN 기반 방법이 局부적인 유도 편향으로 인해 어려운 공간적 변형(예: 기울임, 곡선 모양)을 가진 스트리트 텍스트 이미지의 초해상도 복원 문제를 해결한다.
• 기존 방법의 국소적 특징 연산 한계를 극복하기 위해 전역 어텐션을 도입하여 변형에 걸쳐 의미 사전 지식과 시각적 특징을 더 잘 정렬한다.
• 규칙적인 텍스트와 변형된 텍스트 재구성 간의 구조 유사성을 강제하는 새로운 텍스트 구조 일치 손실을 도입함으로써 텍스트 재구성 품질과 후속 인식 성능을 향상시킨다.
• TextZoom 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 실시간 추론 속도를 유지하여 실제 세계 데이터셋에서 저품질, 변형된 텍스트 이미지에 대해 뛰어난 일반화 능력을 입증한다.

제안 방법

• 저해상도 스트리트 텍스트 이미지에서 텍스트 인식 모델을 사용해 고수준 가이던스로 사용할 의미 사전 지식(텍스트 사전 지식, TP)을 추출한다.
• 텍스트 사전 지식과 이미지 특징 간의 교차 어텐션 기반으로 설계된 TP 인터프리터 모듈을 도입하여 전역적이고 장거리 특징 상호작용을 가능하게 한다.
• TP 인터프리터를 단일 스테이지 초해상도 복원 네트워크에 통합하여 의미 일관성을 유지하면서 고해상도 이미지 생성을 유도한다.
• 재구성된 규칙적 텍스트와 변형된 텍스트 이미지 간의 구조적 차이를 최소화하는 텍스트 구조 일치(TSC) 손실을 제안하여 시각적 정확도를 향상시킨다.
• 이미지 품질과 구조적 현실감을 최적화하기 위해 감각적, 적대적, TSC 손실의 조합을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 경량적이고 효율적인 아키텍처를 활용하여 TPGSR 및 TBSRN과 유사한 높은 추론 속도(960 fps)를 유지하면서도 변형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 컨볼루션 연산 대비 전역 어텐션 메커니즘이 공간적으로 변형된 스트리트 텍스트 이미지 재구성에 효과적으로 기여하는가?
• RQ2 Transformer 기반 모듈을 통해 의미 텍스트 사전 지식을 통합함으로써 초해상도 텍스트 이미지의 시각적 품질과 구조 정확도는 어떻게 향상되는가?
• RQ3 제안된 텍스트 구조 일치 손실이 기존 기준 대비 곡선형 및 기울임 텍스트 복구에 얼마나 기여하는가?
• RQ4 의미 정보 가이던스를 갖춘 단일 스테이지 모델이 이미지 품질과 후속 텍스트 인식 정확도 측면에서 다중 스테이지 접근 방식을 능가할 수 있는가?
• RQ5 제안된 방법이 ICDAR15, CUTE80, SVTP 등의 외부 데이터셋에서 얻은 실제 세계의 저품질 텍스트 이미지에 대해 얼마나 잘 일반화되는가?

주요 결과

• TATT는 TextZoom 벤치마크에서 최신 기술 수준의 PSNR(21.52)와 SSIM(0.7930) 성능을 기록하며, 다중 스테이지 모델을 포함한 기존 방법들을 모두 능가한다.
• ASTER 및 CRNN을 사용한 SR 출력에서 텍스트 인식 정확도가 가장 높으며, 3단계 TPGSR-3 모델조차도 단일 스테이지 아키텍처임에도 불구하고 이를 뛰어넘는다.
• 수동으로 선별한 기울임 및 곡선 텍스트 샘플에서 TATT는 TPGSR 및 TBSRN에 비해 상당한 성능 격차를 보이며, 변형에 대한 우수한 강건성을 입증한다.
• TSC 손실은 특히 변형된 텍스트 케이스에서 시각적 품질 향상과 문자 구조 정밀도 향상에 기여하며, 정성적 비교 결과에서 이를 확인할 수 있다.
• TATT는 ICDAR15, CUTE80, SVTP와 같은 실제 세계 데이터셋에 대해 잘 일반화되며, 저해상도 및 손상된 이미지에서 모든 종류의 왜곡 유형에 대해 가장 높은 인식 정확도를 기록한다.
• 모델은 높은 추론 속도(960 fps)를 유지하여 TPGSR 및 TBSRN과 유사한 실용적 효율성을 보이며, 최신 기술 수준의 성능를 동시에 확보한다.