[논문 리뷰] A Fast Hierarchical Method for Multi-script and Arbitrary Oriented Scene Text Extraction

Lluís Gómez, Dìmosthenis Karatzas|arXiv (Cornell University)|2014. 07. 28.

Handwritten Text Recognition Techniques인용 수 9

한 줄 요약

이 논문은 학습된 특징 공간에서 텍스트의 본질적 구조적 계층성을 활용하여 다중 스크립트 및 임의의 방향을 가진 시나리오 텍스트 추출을 위한 빠른 계층적 방법을 제안한다. 고정밀도 그룹화를 위한 최적의 특징 공간, 지각 조직 원칙을 기반으로 한 분류 기반 및 확률적 측정 기반의 새로운 정지 기준, 그리고 점진적으로 계산 가능한 군집 기술자를 도입하여 단일 혼합 학습 세트로 네 가지 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Typography and layout lead to the hierarchical organisation of text in words, text lines, paragraphs. This inherent structure is a key property of text in any script and language, which has nonetheless been minimally leveraged by existing text detection methods. This paper addresses the problem of text segmentation in natural scenes from a hierarchical perspective. Contrary to existing methods, we make explicit use of text structure, aiming directly to the detection of region groupings corresponding to text within a hierarchy produced by an agglomerative similarity clustering process over individual regions. We propose an optimal way to construct such an hierarchy introducing a feature space designed to produce text group hypotheses with high recall and a novel stopping rule combining a discriminative classifier and a probabilistic measure of group meaningfulness based in perceptual organization. Results obtained over four standard datasets, covering text in variable orientations and different languages, demonstrate that our algorithm, while being trained in a single mixed dataset, outperforms state of the art methods in unconstrained scenarios.

연구 동기 및 목표

• 텍스트 검출을 고립된 영역 분류로 간주하는 기존 시나리오 텍스트 검출 방법의 한계를 해결하기 위해.
• 단어, 줄, 문단과 같은 텍스트의 계층적 조직을 직접적으로 탐지함으로써 개별 영역을 후처리하는 방식이 아닌 구조적 그룹화를 활용하기 위해.
• 특수 작업에 맞게 재학습이 필요 없이 다중 스크립트 및 임의의 방향 텍스트를 처리할 수 있는 통합적이고 일반적인 방법을 개발하기 위해.
• 텍스트를 유기적인 구조 단위로 모델링하여 제약 조건이 없는 환경에서 검출의 재현율과 강건성을 향상시키기 위해.

제안 방법

• 다양한 스크립트와 방향 간 텍스트 구성 요소 간 유사도를 극대화하도록 설계된 학습된 특징 공간에서 단일 연결 군집화를 사용한다.
• 지각 조직 원칙에 기반한 군집의 의미성에 대한 확률적 측정과 분류기를 조합한 새로운 분류 기반 정지 기준을 도입한다.
• 군집화 과정에서 군집 가설을 효율적으로 평가하기 위해 점진적으로 계산 가능한 군집 기술자를 사용하여 낮은 시간 복잡도를 유지한다.
• 높은 재현율을 확보하기 위해 구성 요소 간 유사도(예: 정렬, 간격, 획 두께, 대비)를 인코딩할 수 있도록 특징 공간을 최적화한다.
• 기존 방법에서 흔히 볼 수 있는 히우리스틱 후처리 단계를 피하기 위해 단일 패assing으로 계층적 그룹화를 수행한다.
• 다양한 스크립트와 방향을 포함하는 혼합 학습 데이터셋을 통해 다양한 시나리오 텍스트 환경으로의 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 명시적으로 텍스트 구조를 모델링하는 계층적 군집화 접근 방식이 다중 스크립트 및 임의의 방향 텍스트 환경에서 기존의 영역 기반 검출 방식을 능가할 수 있는가?
• RQ2 다양한 스크립트나 방향에 관계없이 높은 재현율의 텍스트 구성 요소 그룹화를 지원할 수 있는 통합된 특징 공간을 어떻게 학습할 수 있는가?
• RQ3 특정 작업에 맞게 적응하지 않고도 단일 혼합 학습 모델이 다양한 시나리오 텍스트 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 분류 기반 및 확률 기반 기준을 조합한 정지 기준이 계층적 텍스트 그룹화에서 정확도와 효율성을 향상시킬 수 있는가?
• RQ5 점진적으로 계산 가능한 군집 기술자가 군집화 과정의 확장성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다중 스크립트 및 임의의 방향 텍스트에 대해 MSRRC, MSRA-TD500, KAIST 데이터셋에서 각각 F-스코어 0.78, 0.74, 0.73로 최신 기술 수준의 성능을 달성한다.
• ICDAR Robust Reading Competition 2013 데이터셋에서는 F-스코어 0.73를 기록하여 수평 영어 텍스트 전용으로 학습된 대부분의 방법을 능가한다.
• ICDAR2003 데이터셋에서는 F-스코어 0.69를 달성하여 더 제약이 있는 평가 환경에서도 뛰어난 성능을 보여준다.
• 단일 혼합 학습 세트로 모든 데이터셋에서 경쟁적인 성능을 유지함으로써 다양한 스크립트와 방향으로의 일반화 능력을 입증한다.
• 베이스라인 분석 결과, 특징 공간의 다양화가 체계의 재현율을 크게 향상시킬 수 있음을 확인하여 향후 개선 여지가 있음을 시사한다.
• 비수평 및 다중 스크립트 환경에서 TextSpotter 및 USTB TextStar와 같은 전용 모델보다도 성능이 뛰어나, 본 방법의 강건성과 유연성을 확인한다.