[논문 리뷰] UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World

Shangbang Long, Cong Yao|arXiv (Cornell University)|2020. 03. 24.

Handwritten Text Recognition Techniques참고 문헌 52인용 수 44

한 줄 요약

UnrealText는 3D 언리얼 엔진 세계에서 사진실감 가능한 장면 텍스트 이미지를 렌더링하여 장면 텍스트 탐지 및 인식을 개선하고, 대규모 다국어 데이터셋과 모든 기호 주석을 제공합니다.

ABSTRACT

Synthetic data has been a critical tool for training scene text detection and recognition models. On the one hand, synthetic word images have proven to be a successful substitute for real images in training scene text recognizers. On the other hand, however, scene text detectors still heavily rely on a large amount of manually annotated real-world images, which are expensive. In this paper, we introduce UnrealText, an efficient image synthesis method that renders realistic images via a 3D graphics engine. 3D synthetic engine provides realistic appearance by rendering scene and text as a whole, and allows for better text region proposals with access to precise scene information, e.g. normal and even object meshes. The comprehensive experiments verify its effectiveness on both scene text detection and recognition. We also generate a multilingual version for future research into multilingual scene text detection and recognition. Additionally, we re-annotate scene text recognition datasets in a case-sensitive way and include punctuation marks for more comprehensive evaluations. The code and the generated datasets are released at: https://github.com/Jyouhou/UnrealText/ .

연구 동기 및 목표

• 배경에 내장된 텍스트 방법을 넘어서 장면 텍스트 탐지 및 인식을 위한 확장 가능하고 현실적인 합성 데이터의 필요성을 동기화한다.
• 다양한 장면 정보를 갖춘 라벨링된 데이터를 생성하기 위한 3D 세계 기반 텍스트 합성 엔진(UnrealText)을 제안한다.
• 3D 렌더링이 탐지기/인식기의 성능을 향상시키고 포괄적인 주석이 포함된 다국어 데이터셋을 가능하게 함을 보여준다.
• 대규모 영어 및 다국어 합성 데이터셋을 공개하고 기존 벤치마크를 전체 기호 평가를 위해 재주석한다.

제안 방법

• 빛가림(조명), 가림, 원근 등을 포함한 공동의 장면-텍스트 현실감을 보장하기 위해 UE4 기반 씬 내에서 텍스트를 평면 메시 텍스처로 렌더링한다.
• 보조 카메라 앵커를 포함한 물리적으로 제약된 3D 랜덤 워크를 이용한 뷰 파인딩 모듈을 개발하여 다양한 시점을 생성한다.
• 조명, 안개 등 다양한 조건을 변화시켜 환경 무작위화를 도입하여 실제 세계의 변이를 시뮬레이션한다.
• 표면 법선 맵으로부터의 초기 제안들을 바탕으로 물체 메시에 대한 3D 정제를 거쳐 자연스러운 원근 왜곡을 얻는 2단계 텍스트 영역 생성 파이프라인을 제안한다.
• 정제된 제안을 평면 메시에 삼각화하여 렌더링하고, 다양한 글꼴/색상으로 텍스처를 적용한 뒤 대응하는 정답 콘텐츠를 수집한다.
• 이미지당 0.7–1.5초의 효율적인 렌더링을 달성하고 UE4와 UnrealCV를 사용해 대규모 다국어 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 3D 장면 기반 텍스트 합성이 탐지기/인식기 학습을 위한 이전의 2D 배경 텍스트 임베딩 방법보다 우수한가?
• RQ2 뷰 파인딩과 환경 무작위화가 합성 데이터의 다양성과 다운스트림 성능에 어떤 영향을 미치는가?
• RQ3 장면 텍스트 합성에서 전통적인 영역 제안에 비해 3D 보강 및 메시 기반 텍스트 제안이 어떤 이점을 제공하는가?
• RQ4 장면 텍스트 인식을 위한 다국어 및 풍부한 주석 데이터세트를 생성하는 UnrealText의 효과는 어느 정도인가?
• RQ5 UnrealText로의 프리트레이닝(실제 데이터와의 조합 포함)이 실제 벤치마크에 미치는 영향은 무엇인가?

주요 결과

• UnrealText로 학습된 탐지기가 IC15, IC13, 및 MLT17에서 이전 합성 데이터 대비 더 높은 F1을 달성한다(예: 10K UnrealText 대 10K SynthText/VISD/SynthText3D).
• UnrealText를 VISD 또는 SynthText와 결합하면 단독일 때보다 탐지 성능이 향상되며, 실제 배경 합성 데이터와의 보완성을 보여준다.
• 전체 데이터세트로 UnrealText에서 프리트레이닝하고 실제 데이터로 파인튜닝하면 IC15, IC13, MLT 2017 전반에서 상당한 이득을 얻고, 일부 설정에서 최근의 최첨단 결과를 능가한다.
• Mask-RCNN 실험에서 UnrealText와 SynthText3D가 실제 배경 합성 데이터세트를 능가하며, 전체 UnrealText와 SynthText 조합이 방법 간 큰 개선을 낳는다.
• 변인 제거(ablation) 분석에서 뷰 파인딩 및 환경 무작위화 컴포넌트가 다양성과 성능을 크게 향상시키며, 특히 작은 학습 세트에서 두드러진다; 랜덤 워크와 수동 앵커의 조합이 강건한 확장성을 제공한다.