[논문 리뷰] Why You Should Try the Real Data for the Scene Text Recognition

Vladimir Loginov|arXiv (Cornell University)|2021. 07. 29.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 실세계 데이터셋인 OpenImages V5와 같이 합성 데이터에만 의존하는 것보다 실제 데이터로 장면 텍스트 인식 모델을 훈련시키는 것이 더 뛰어난 성능을 내며, 여러 벤치마크에서 최신 기술 수준(SOTA) 성과를 달성함을 보여준다. YAMTS 기반 아키텍처를 활용하고 데이터 증강을 줄임으로써 다양한 도전적인 실데이터를 활용함으로써, 특히 IC15 및 SVT-P에서 이전의 SOTA 모델보다 높은 정확도를 달성하였다.

ABSTRACT

Recent works in the text recognition area have pushed forward the recognition results to the new horizons. But for a long time a lack of large human-labeled natural text recognition datasets has been forcing researchers to use synthetic data for training text recognition models. Even though synthetic datasets are very large (MJSynth and SynthTest, two most famous synthetic datasets, have several million images each), their diversity could be insufficient, compared to natural datasets like ICDAR and others. Fortunately, the recently released text-recognition annotation for OpenImages V5 dataset has comparable with synthetic dataset number of instances and more diverse examples. We have used this annotation with a Text Recognition head architecture from the Yet Another Mask Text Spotter and got comparable to the SOTA results. On some datasets we have even outperformed previous SOTA models. In this paper we also introduce a text recognition model. The model's code is available.

연구 동기 및 목표

• 실세계 자연 장면 텍스트 데이터셋을 사용한 훈련이 기존의 합성 데이터 훈련보다 장면 텍스트 인식에서 더 나은 성능을 낼 수 있는지 조사하는 것.
• 합성 훈련 데이터와 실제 테스트 데이터 간의 분포 격차로 인해 발생하는 도메인 이탈 문제를 해결하는 것.
• 실데이터를 사용할 경우 데이터 증강을 줄임으로써 모델이 더 의미 있는 특징을 더 잘 학습하고 일반화 능력을 향상시킬 수 있음을 보여주는 것.
• 주의 기반 및 트랜스포머 기반 모델에 대해 연구 공동체가 실데이터를 훈련에 활용할 것을 장려하는 것.
• 실데이터를 사용하여 여러 벤치마크에서 최신 기술 수준 성능을 달성하는 새로운 텍스트 인식 모델을 소개하는 것.

제안 방법

• 100만 개 이상의 실세계 인간 레이블링 장면 텍스트 이미지를 포함한 OpenImages V5 데이터셋을 사용하여 텍스트 인식 모델을 훈련시켰다.
• 기하학적 변환을 위해 TPS를 사용하고, ResNeXt-101을 백본으로 사용하며, 2D 주의 기반 순서 모델링 헤드를 갖춘 YAMTS 기반 아키텍처를 적용하였다.
• 특수문자 대소문자 구분 없이 훈련 및 평가하여, 더 복잡한 실데이터에서 일반화 능력을 향상시키는 데 기여하였다.
• 합성 데이터(MJSynth, SynthText), 실데이터(OpenImages V5), 하이브리드 조합을 사용한 훈련을 비교하여 성능 트레이드오프를 평가하였다.
• 사용자 정의 사례 구분 여부에 따른 훈련 방식 비교 및 데이터 다양성이 모델 용량에 미치는 영향을 평가하기 위해 분석 실험을 수행하였다.
• MJSynth, SynthText, OpenImages V5를 혼합하여 ViTSTR-Tiny를 훈련시켜, 강력한 증강 조건에서도 실데이터를 효과적으로 활용할 수 있는지 평가하였다.

실험 결과

연구 질문

• RQ1 합성 데이터만 사용하는 것과 비교해 실세계 자연 장면 텍스트 데이터로 훈련하면 정확도가 향상되는가?
• RQ2 실데이터 훈련 시 데이터 증강을 줄이면 실제 테스트 세트에서 더 나은 일반화와 높은 성능을 달성하는가?
• RQ3 주의 기반 및 트랜스포머 기반 모델이 실데이터와 합성 데이터로 훈련되었을 때 성능는 어떻게 다른가?
• RQ4 더 복잡한 실세계 데이터를 사용할 경우, 대소문자 구분 훈련과 비구분 훈련의 영향은 어떠한가?
• RQ5 확장된 데이터 증강에 의존하지 않고도 실데이터로 훈련된 모델이 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• OpenImages V5만으로 훈련한 결과, IC03에서 94.1%, IC13에서 94.2%, IC15에서 73.2%의 정확도를 기록하여 합성 데이터만으로 훈련한 경우보다 뛰어난 성능을 보였다.
• MJSynth와 OpenImages V5의 하이브리드 조합을 사용한 훈련은 IC03에서 95.6%, IC13에서 95.2%, IC15에서 75.3%의 정확도로 향상되었으며, 다양한 데이터 소스를 조합함으로써 성능 향상의 잠재력을 입증하였다.
• OpenImages V5에서 대소문자 미구분 훈련을 수행한 결과, IC03에서 97.0%, IC13에서 96.5%, SVT-P에서 91.6%의 정확도를 기록하여 여러 벤치마크에서 이전 SOTA를 초월하였다.
• 20%의 OpenImages V5 데이터를 포함한 혼합 데이터로 훈련한 ViTSTR-Tiny 모델은 IC03에서 95.6%, IC13에서 94.2%의 정확도를 기록하여, 강력한 증강 조건에서도 실데이터가 모델 용량을 향상시킬 수 있음을 시사하였다.
• IC15 및 SVT-P와 같이 더 도전적인 데이터셋에서는 실데이터를 사용할 경우 정확도 향상이 더욱 두드러졌으며, 이는 실데이터가 도메인의 복잡성을 더 잘 포착함을 시사한다.
• 저자들이 제안한 모델은 IC15에서 89.9%의 정확도, SVT-P에서 91.6%의 정확도를 기록하여 이들 벤치마크에서 이전의 SOTA 모델을 능가하는 최신 기술 수준 성능을 달성하였다.