[논문 리뷰] Automatic text extraction and character segmentation using maximally stable extremal regions

Nitigya Sambyal, Pawanesh Abrol|arXiv (Cornell University)|2016. 08. 11.

Handwritten Text Recognition Techniques참고 문헌 5인용 수 4

한 줄 요약

이 논문은 최대 안정적 외곽선 영역(MSER)을 사용하여 후보 텍스트 영역을 탐지한 후, 임계값 설정과 연결 성분 분석을 통해 개별 문자를 분리하는 학습이 없는 방법을 제안한다. 이 방법은 영어 및 러시아어 텍스트에서 뛰어난 성능을 보이며, 저품질 이미지에서도 효과적이나, 우르두어 및 히브리어와 같은 복잡한 스크립트에서는 스크립트 특유의 과제로 인해 정확도가 감소한다.

ABSTRACT

Text detection and segmentation is an important prerequisite for many content based image analysis tasks. The paper proposes a novel text extraction and character segmentation algorithm using Maximally Stable Extremal Regions as basic letter candidates. These regions are then subjected to thresholding and thereafter various connected components are determined to identify separate characters. The algorithm is tested along a set of various JPEG, PNG and BMP images over four different character sets; English, Russian, Hindi and Urdu. The algorithm gives good results for English and Russian character set; however character segmentation in Urdu and Hindi language is not much accurate. The algorithm is simple, efficient, involves no overhead as required in training and gives good results for even low quality images. The paper also proposes various challenges in text extraction and segmentation for multilingual inputs.

연구 동기 및 목표

• 자연 장면 이미지에서 자동 텍스트 추출 및 문자 분할을 위한 강력하고 학습이 없는 접근 방식을 개발하는 것.
• 특히 복잡한 문자 구조를 가진 스크립트에 대해 텍스트 탐지 및 분할에 도전하는 것.
• 감독 학습이나 모델 학습 없이도 저해상도 및 노이즈가 많은 이미지에서 성능을 향상시키는 것.
• 인디아계 및 아랍계 스크립트에 특화된 다국어 텍스트 분할의 주요 과제를 규명하는 것.
• 영어, 러시아어, 히нд어, 우르두어를 포함한 다양한 이미지 형식과 문자 집합에서 방법의 성능을 평가하는 것.

제안 방법

• 입력 이미지에서 최대 안정적 외곽선 영역(MSER)을 탐지하여 초기 텍스트 영역 후보를 확보한다.
• 각 MSER는 대비를 향상시키고 텍스트 유사 구조를 분리하기 위해 적응형 임계값 설정을 거친다.
• 임계값 처리된 영역에 연결 성분 분석을 적용하여 개별 문자를 식별하고 분리한다.
• MSER의 기하학적 및 강도 기반 성질을 활용하여 비텍스트 영역을 걸러내고 문자 경계를 정밀하게 조정한다.
• 재학습 없이도 다양한 이미지 형식(JPEG, PNG, BMP)과 문자 집합에 동일하게 적용 가능한 방법이다.
• 후처리 단계로 크기 필터링과 종횡비 검증을 수행하여 잡음 신호를 제거하고 분할 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 MSER 기반 접근 방식은 다양한 이미지 품질과 형식에서 텍스트 탐지 및 문자 분할에 얼마나 효과적인가?
• RQ2 이 방법은 히브리어 및 우르두어와 같이 복잡한 문자 형태를 가진 다국어 스크립트로 일반화되는 정도는 어느 정도인가?
• RQ3 학습이 없는 방법이 감독 학습 대비 기반 방법과 비교해 저품질 이미지에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 MSER 기반 탐지로 비라틴 스크립트에서 문자 분할에 있어 주요 과제는 무엇인가?
• RQ5 MSER와 연결 성분 분석의 조합이 실제 장면에서의 분할 정확도 향상에 어떻게 기여하는가?

주요 결과

• 저품질 이미지에서도 영어 및 러시아어 문자 집합에 대해 높은 정확도로 텍스트 추출 및 문자 분할을 달성한다.
• 히브리어 및 우르두어 스크립트에서는 겹치는 문자와 복잡한 결합 형태로 인해 분할 정확도가 상당히 낮다.
• 알고리즘은 계산적으로 효율적이며 학습 데이터나 모델 최적화가 필요 없어 자원 제약 환경에 적합하다.
• MSER는 다양한 조명 및 해상도 조건에서도 안정적인 텍스트 영역을 효과적으로 포착하여 강건성을 향상시킨다.
• 임계값 설정과 연결 성분 분석은 노이즈가 많거나 혼잡한 장면에서 문자 고립에 크게 기여한다.
• 이 방법은 성능 저하 없이 다양한 이미지 형식(JPEG, PNG, BMP)에 대해 강력한 일반화 성능을 보였다.