[논문 리뷰] Scene Text Synthesis for Efficient and Effective Deep Network Training

Changgong Zhang, Fangneng Zhan외 2명|arXiv (Cornell University)|2019. 01. 26.

Handwritten Text Recognition Techniques참고 문헌 51인용 수 33

한 줄 요약

논문은 현장 문자(Scene Text)용 annotated training 이미지를 합성하기 위한 foreground–background 임베딩 기법을 제시하며, 두 구성요소—맥락 인지적 의미 일관성(context-aware semantic coherence)과 조화로운 외관 적응(harmonious appearance adaptation)—을 통해 현장 문자 탐지 및 인식에서 실 이미지와 비교하여 동등하거나 더 나은 성능을 달성한다.

ABSTRACT

A large amount of annotated training images is critical for training accurate and robust deep network models but the collection of a large amount of annotated training images is often time-consuming and costly. Image synthesis alleviates this constraint by generating annotated training images automatically by machines which has attracted increasing interest in the recent deep learning research. We develop an innovative image synthesis technique that composes annotated training images by realistically embedding foreground objects of interest (OOI) into background images. The proposed technique consists of two key components that in principle boost the usefulness of the synthesized images in deep network training. The first is context-aware semantic coherence which ensures that the OOI are placed around semantically coherent regions within the background image. The second is harmonious appearance adaptation which ensures that the embedded OOI are agreeable to the surrounding background from both geometry alignment and appearance realism. The proposed technique has been evaluated over two related but very different computer vision challenges, namely, scene text detection and scene text recognition. Experiments over a number of public datasets demonstrate the effectiveness of our proposed image synthesis technique - the use of our synthesized images in deep network training is capable of achieving similar or even better scene text detection and scene text recognition performance as compared with using real images.

연구 동기 및 목표

• 주요 딥 네트워크 학습을 위해 주석이 달린 합성 이미지를 생성하여 주석 달기 비용을 줄인다.
• 의미적으로 일관된 맥락에 전경 객체를 배치하는 합성 파이프라인을 개발한다.
• 학습에 유용하도록 기하학적 및 외관 현실감을 보장한다.
• 현장 문자 탐지 및 인식 벤치마크에서 이 기법을 평가하여 실이미지 학습과의 성능 차이를 비교한다.

제안 방법

• 의미적 일관성을 유지하면서 배경 이미지에 관심 대상의 전경 객체를 임베드한다.
• 전경 객체가 배경의 의미적으로 의미 있는 영역과 정렬되도록 맥락 인지 배치를 강제한다.
• OOI와 배경 사이의 기하학적 정렬 및 외관 현실감을 달성하기 위해 조화로운 외관 적응을 적용한다.
• 딥 네트워크 학습에 적합한 주석이 달린 합성 학습 이미지를 생성한다.
• 합성 기법이 다운스트림 현장 문자 탐지 및 인식 작업에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 제안된 방법으로 학습된 합성 이미지가 실제 이미지와 유사한 문자 탐지 및 인식 성능을 달성할 수 있는가?
• RQ2 맥락 인지적 의미 일관성이 현장 문자 작업의 학습 효과를 향상시키는가?
• RQ3 조화로운 외관 적응이 임베드된 객체의 현실감과 딥러닝에의 활용 가치를 높이는가?
• RQ4 강건한 현장 문자 모델 학습에서 합성 이미지가 실제 이미지와 어떻게 비교될까?

주요 결과

• 제안된 기법을 사용한 합성 이미지는 딥 네트워크 학습에 효과적이다.
• 이 방법은 실제 이미지를 사용하는 경우와 비교하여 현장 문자 탐지 및 인식에서 비슷하거나 더 나은 성능을 달성한다.
• 맥락 인지 일관성과 외관 적응은 합성 데이터 학습 활용도에 기여한다.
• 실험은 현실적인 전경 임베딩이 모델 강인성 향상에 가치를 있음을 검증한다.