[논문 리뷰] WordSup: Exploiting Word Annotations for Character based Text Detection

Hu Han, Chengquan Zhang외 4명|arXiv (Cornell University)|2017. 08. 22.

Handwritten Text Recognition Techniques참고 문헌 47인용 수 44

한 줄 요약

이 논문은 단어 수준의 애너테이션만을 사용하여 문자 기반 텍스트 검출기를 훈련하는 움직임 없는 감독 프레임워크인 WordSup을 제안한다. 이는 실제 데이터셋에서 문자 수준 애너테이션이 부족한 문제를 해결한다. 단어 감독을 통해 반복적으로 문자 중심 마스크와 모델을 개선함으로써, ICDAR13, ICDAR15, COCO-Text 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기형된 텍스트 및 수학적 표현을 포함한 다양한 시나리오에서도 강력한 검출이 가능하다.

ABSTRACT

Imagery texts are usually organized as a hierarchy of several visual elements, i.e. characters, words, text lines and text blocks. Among these elements, character is the most basic one for various languages such as Western, Chinese, Japanese, mathematical expression and etc. It is natural and convenient to construct a common text detection engine based on character detectors. However, training character detectors requires a vast of location annotated characters, which are expensive to obtain. Actually, the existing real text datasets are mostly annotated in word or line level. To remedy this dilemma, we propose a weakly supervised framework that can utilize word annotations, either in tight quadrangles or the more loose bounding boxes, for character detector training. When applied in scene text detection, we are thus able to train a robust character detector by exploiting word annotations in the rich large-scale real scene text datasets, e.g. ICDAR15 and COCO-text. The character detector acts as a key role in the pipeline of our text detection engine. It achieves the state-of-the-art performance on several challenging scene text detection benchmarks. We also demonstrate the flexibility of our pipeline by various scenarios, including deformed text detection and math expression recognition.

연구 동기 및 목표

• 대규모 문자 수준 애너테이션을 가진 실생활 텍스트 데이터셋이 부족한 문제를 해결하기 위해, 이는 생성에 비용이 많이 들고 시간이 오래 걸린다.
• 비싼 문자 수준 애너테이션을 요구하지 않고도 강력한 문자 검출기를 훈련시킬 수 있도록 하기 위해.
• 기존의 대규모 실생활 데이터셋(예: ICDAR15, COCO-Text)을 활용하여 단어 수준에서 애너테이션된 자료를 문자 검출에 활용하기 위해.
• 기형된 텍스트나 수학적 표현을 포함한 다양한 텍스트 유형에 적용 가능한 유연한 문자 기반 텍스트 검출 파이프라인을 개발하기 위해.

제안 방법

• 단어 수준 애너테이션을 사용하여 문자 중심 마스크를 개선하고 모델을 업데이트하는 움직임 없는 감독 훈련 프레임워크를 번갈아가며 적용한다.
• 단일 비용과 쌍별 비용을 사용하는 그래프 기반 문자 그룹화 방법을 사용한다: 단일 비용은 텍스트/비텍스트 점수와 문자 간 거리의 조합이며, 쌍별 비용은 문자 쌍 간의 각도 거리에 기반한다.
• 텍스트 라인 모델은 0차, 1차 또는 조각별 선형 중심선을 사용하여 추정하며, 높이 적합도와 복잡도 페널티 간의 트레이드오���을 기반으로 모델 선택을 수행한다.
• 계산된 다각형과 제어점을 기반으로 투명판 스플라인(Thin-Plate Spline, TPS) 변환을 사용하여 텍스트 라인을 고정 높이(H=32)의 스트립 이미지로 정규화한다.
• 정규화된 라인 이미지에서 단어 경계 위치를 예측하기 위해 VGG-16 특징과 BLSTM 레이어를 사용하는 CNN-RNN 아키텍처를 사용한다.
• 데이터 증강에는 합성 및 실재 라인 이미지 훈련 중에 무작위 자르기, 팯딩, 블러, 노이즈, 작은 회전(±5°)이 포함된다.

실험 결과

연구 질문

• RQ1 비용이 많이 들는 문자 수준 애너테이션 대신 단어 수준 애너테이션만으로도 효과적으로 문자 검출기를 훈련시킬 수 있는가?
• RQ2 어떻게 단어 수준 감독을 활용하여 실생활 텍스트에서 문자 검출의 정확도와 강건성을 향상시킬 수 있는가?
• RQ3 문자 기반 검출 파이프라인이 기형된 텍스트 라인과 수학적 표현과 같은 다양한 텍스트 유형으로 일반화될 수 있는가?
• RQ4 기존 방법 대비 표준 벤치마크에서 움직임 없는 감독을 통한 문자 검출의 성능 향상은 어느 정도인가?

주요 결과

• 제안된 WordSup 프레임워크는 훈련에 단어 수준 애너테이션만을 사용하여 ICDAR13, ICDAR15, COCO-Text 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 기형된 텍스트 라인과 구조적 수학적 표현의 효과적인 검출을 통해 강력한 일반화 능력을 보여준다.
• WordSup를 통해 훈련된 문자 검출기는 단지 합성 데이터에 의존하는 기존의 문자 기반 방법보다도 실생활 텍스트에 적용했을 때도 성능이 뛰어나다.
• 단어 애너테이션을 통한 움직임 없는 감독을 사용함으로써, 기존에는 애너테이션 수준 불일치로 인해 문자 검출에 사용되지 못했던 대규모 실생활 데이터셋인 ICDAR15 및 COCO-Text와 같은 데이터셋을 훈련에 활용할 수 있게 되었다.