[논문 리뷰] Efficient Scene Text Localization and Recognition with Local Character Refinement

Lukáš Neumann, Jiřı́ Matas|arXiv (Cornell University)|2015. 04. 14.

Handwritten Text Recognition Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 문자 수나 방향에 관계없이 텍스트 조각을 탐지할 수 있도록 스트로크 지원 픽셀(SSPs) 기반의 새로운 스트로크 영역 비율 특징을 갖춘 MSER를 사용하여 엔드 투 엔드 실시간 스트리트 텍스트 로컬라이제이션 및 인식 방법을 제안한다. 초기 가설을 국소 세그멘테이션 모델로 정제함으로써 노이즈에 대한 강건성을 향상시켜 ICDAR 2013 데이터셋에서 77.6%의 최고 성능 f-측정치를 달성하였으며, 평균 이미지당 800ms의 런타임을 기록하여 실시간 가능성을 입증하였다.

ABSTRACT

An unconstrained end-to-end text localization and recognition method is presented. The method detects initial text hypothesis in a single pass by an efficient region-based method and subsequently refines the text hypothesis using a more robust local text model, which deviates from the common assumption of region-based methods that all characters are detected as connected components. Additionally, a novel feature based on character stroke area estimation is introduced. The feature is efficiently computed from a region distance map, it is invariant to scaling and rotations and allows to efficiently detect text regions regardless of what portion of text they capture. The method runs in real time and achieves state-of-the-art text localization and recognition results on the ICDAR 2013 Robust Reading dataset.

연구 동기 및 목표

• 문자들이 단일 연결 성분이어야 한다는 가정을 하는 영역 기반 텍스트 탐지 방법의 한계를 해결하기 위해, 노이즈 및 분할에 민감한 기존 방법의 문제점을 해결하고자 한다.
• 엄격한 연결 성분 가정에 의존하지 않고, 단일 문자, 다중 문자 그룹, 또는 부분 단어와 같은 임의의 텍스트 조각을 탐지함으로써 텍스트 로컬라이제이션 정확도를 향상시키고자 한다.
• 크기, 회전, 노이즈에 불변하는 강력하고 확장 가능한 특징을 개발하여 부분적 또는 분할된 텍스트를 효율적으로 탐지할 수 있도록 하며, 텍스트 영역 탐지에 기여하고자 한다.
• SSPs를 기반으로 한 GMM 기반 색상 모델을 학습시켜 세그멘테이션 품질을 향상시키고, 반복적인 국소 정밀 조정을 통합함으로써 인식 성능을 향상시키고자 한다.

제안 방법

• 새로운 스트로크 영역 비율 특징($\varsigma$)을 갖춘 MSER를 활용하여 초기 텍스트 가설을 생성하며, 이 특징은 영역 내 픽셀 중 스트로크에 속하는 비율을 추정한다.
• 스트로크 영역 비율 특징은 영역의 거리 맵에서 효율적으로 계산되며, 크기 및 회전에 불변하고 단일 스트로크 폭 추정 방법보다 노이즈에 더 강건하다.
• MSER를 기본 추정 모델을 사용해 그룹화하여 텍스트 라인을 형성한 후, 국소 세그멘테이션 모델을 반복적으로 적용하여 픽셀을 전경, 배경, 무시 대상으로 분류함으로써 정밀 조정을 수행한다.
• 스트로크 지원 픽셀(SSPs)은 문자 스트로크의 중심점으로서 식별되며, 스트로크 영역 비율 계산과 함께 더 정확한 GMM 기반 색상 모델을 학습하는 데 사용된다.
• 이차 언어 모델 특징을 갖춘 그래프 기반 OCR 모듈을 사용하여 모호성을 해결하고, 세그멘테이션된 구성 요소들로부터 최종 단어 시퀀스를 생성한다.
• 전체 파이프라인은 다중 스케일에서 작동하며, 겹치는 탐지 결과는 그래프 내 최소 비용 경로 선택을 통해 통합되어 강건한 엔드 투 엔드 인식을 보장한다.

실험 결과

연구 질문

• RQ1 단일 문자, 다중 문자 그룹, 또는 부분 단어를 포함하는지에 관계없이 텍스트 영역을 탐지할 수 있는 통합 특징을 개발할 수 있는가?
• RQ2 문자가 단일 연결 성분이어야 한다는 가정을 넘어서, 영역 기반 텍스트 탐지의 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 스트로크 지원 픽셀(SSPs) 기반의 국소 세그멘테이션 모델이 복잡한 환경에서 텍스트 라인 정밀 조정을 개선하고 가짜 탐지(false positives)를 줄일 수 있는가?
• RQ4 거리 맵에서 스트로크 영역 추정을 기반으로 한 특징이 크기 및 회전에 불변하면서도 계산 효율성이 유지되는가?
• RQ5 SSPs를 색상 모델에 통합함으로써 저대비 또는 노이즈가 많은 영역에서 세그멘테이션 정확도는 어떻게 향상되는가?

주요 결과

• ICDAR 2013 Robust Reading 데이터셋에서 최고 성능인 77.6%의 f-측정치를 기록하였으며, 이는 이전의 방법들, 특히 2013년 경연 대회 수상자보다도 뛰어난 성능을 보였다.
• 재현율(recall)은 72.4%로, 2013년 수상자 대비 66%의 재현율과 비교해 유의미하게 향상되었으며, f-측정치는 81.8%의 정밀도와 함께 76.2%를 초월하였다.
• 엔드 투 엔드 인식에서는 1189개의 단어 중 543개(45%)를 정확히 로컬라이제이션 및 인식하였으며, 실제 레이블과 겹치지 않는 79개의 환각 단어(hallucinated words)만 존재하였다.
• 표준 2.7GHz PC에서 이미지당 평균 런타임이 800ms로, 실시간 처리 가능성은 입증되었다.
• 특히 분할되거나 부분적으로 보이는 텍스트 탐지에 매우 효과적이었으며, SSP 기반 특징 덕분에 포함된 문자 수에 관계없이 텍스트 영역을 탐지할 수 있었다.
• 실패 케이스의 주요 원인은 화살표, 도안 등 문자 유사 객체와 초기 MSER 단계에서 포착되지 않은 저대비 텍스트였다.