[논문 리뷰] ESIR: End-to-end Scene Text Recognition via Iterative Image Rectification

Fangneng Zhan, Shijian Lu|arXiv (Cornell University)|2018. 12. 14.

Handwritten Text Recognition Techniques참고 문헌 49인용 수 31

한 줄 요약

ESIR는 단일 라인 피팅 변환과 반복적 정규화 파이프라인을 사용하여 시각적 왜곡과 텍스트 라인 곡률을 반복적으로 교정하는 엔드 투 엔드로 학습 가능한 시나리오 텍스트 인식 시스템을 제안한다. 인식 성능에 기반한 피드백 루프를 통해 정규화를 반복적으로 개선함으로써, 단어 수준의 레이블 외에 추가 애너테이션을 필요로 하지 않고도 SVTP 및 CUTE와 같은 도전적인 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Automated recognition of texts in scenes has been a research challenge for years, largely due to the arbitrary variation of text appearances in perspective distortion, text line curvature, text styles and different types of imaging artifacts. The recent deep networks are capable of learning robust representations with respect to imaging artifacts and text style changes, but still face various problems while dealing with scene texts with perspective and curvature distortions. This paper presents an end-to-end trainable scene text recognition system (ESIR) that iteratively removes perspective distortion and text line curvature as driven by better scene text recognition performance. An innovative rectification network is developed which employs a novel line-fitting transformation to estimate the pose of text lines in scenes. In addition, an iterative rectification pipeline is developed where scene text distortions are corrected iteratively towards a fronto-parallel view. The ESIR is also robust to parameter initialization and the training needs only scene text images and word-level annotations as required by most scene text recognition systems. Extensive experiments over a number of public datasets show that the proposed ESIR is capable of rectifying scene text distortions accurately, achieving superior recognition performance for both normal scene text images and those suffering from perspective and curvature distortions.

연구 동기 및 목표

• 기존 딥 러닝 기반 시스템에서 성능 저하를 초래하는 심각한 시각적 왜곡과 곡률에 의한 시나리오 텍스트 인식의 지속적인 과제를 해결하기 위해.
• 추가 애너테이션이 필요 없이 인식 성능에 기반한 피드백을 통해 반복적으로 정규화를 개선하는 강력한 엔드 투 엔드로 학습 가능한 프레임워크를 개발하기 위해.
• 직선과 곡선 텍스트 라인 모두에 대해 민첩하고 정확한 자세 추정이 가능한 유연한 라인 피팅 변환을 설계하기 위해.
• 인식 피드백에 기반한 반복적 파이프라인을 통해 정규화 정확도를 향상시키기 위해.
• 초기화 파rameter에 대해 강건하고, 다수의 정규화 단계가 있음에도 불구하고 계산 효율성이 높은 시스템을 확보하기 위해.

제안 방법

• 시스템은 인식 피드백에 기반해 이전 단계의 출력을 개선하는 반복적 정규화 모듈을 여러 번 적용하는 반복 정규화 네트워크를 사용한다.
• 새로운 라인 피팅 변환은 다항식을 사용해 텍스트의 중앙선을 모델링함으로써 직선과 곡선 텍스트 라인 모두에 대해 민감하고 정확한 자세 추정이 가능하다.
• 라인 세그먼트는 텍스트 라인의 수직 방향과 경계를 추정하는 데 사용되어 수직 방향 추정의 강건성을 향상시킨다.
• 정규화 네트워크는 단지 시나리오 텍스트 이미지와 단어 수준의 애너테이션만을 사용해 인식 네트워크로부터 역전파를 통해 엔드 투 엔드로 학습된다.
• 반복적 프레임워크는 왜곡을 점진적으로 교정할 수 있으며, 각 단계에서 이전 단계의 출력을 개선함으로써 최종 인식 정확도를 향상시킨다.
• 아키텍처는 계산적으로 효율적이며, 특징 추출기와 인식 헤드에 비해 정규화 네트워크가 경량이다.

실험 결과

연구 질문

• RQ1 단일 단계 정규화에 비해 반복적 정규화가 심각하게 왜곡된 이미지에서 시나리오 텍스트 인식 성능을 향상시키는가?
• RQ2 제안된 라인 피팅 변환이 시각적 왜곡과 텍스트 라인 곡률을 모델링하고 교정하는 데 얼마나 효과적인가?
• RQ3 추가 애너테이션이 필요 없이 인식 기반 역전파를 통한 엔드 투 엔드 학습 기반의 성능 향상이 우수한 결과를 낳는가?
• RQ4 정규화 반복 횟수나 라인 세그먼트 수와 같은 하이퍼파rameter에 대해 시스템의 민감도는 어떠한가?
• RQ5 반복적 정규화 파이프라인이 높은 정확도를 유지하면서도 낮은 계산 오버헤드를 유지할 수 있는가?

주요 결과

• ESIR는 CUTE 데이터셋에서 83.3%의 인식 정확도를 달성하여, 특히 심각하게 왜곡된 샘플에서 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 5회의 정규화 반복과 20개의 라인 세그먼트를 사용할 경우, ESIR는 SVTP에서 79.6%의 정확도를 기록했으며, 단일 반복 기반 기준(73.2%)보다 6.4% 향상되었다.
• 성능 향상은 초기 반복에서 가장 두드러졌다: CUTE에서 반복 수를 1에서 2로 늘일 경우 정확도가 5.5%p 향상되었다.
• 라인 세그먼트 수를 늘리면(최대 15개까지) 정확도가 향상되지만, 반복 횟수 증가에 비해 성과는 더 작았다.
• 다수의 정규화 단계가 있음에도 불구하고, 추론 시간은 1장당 28ms(배치 크기 1)로, ASTER(20ms)와 유사한 수준의 최신 기준 모델과 비교해도 유사한 성능을 보였다.
• 시각적 비교 결과, ESIR는 RARE 및 ASTER보다 곡선과 시각적 왜곡이 있는 텍스트에서 더 명확하고 정확한 정규화 결과를 생성했다.