[논문 리뷰] NF-SAVO: Neuro-Fuzzy system for Arabic Video OCR

Mohamed Ben Halima, Hichem Karray외 2명|arXiv (Cornell University)|2012. 01. 01.

Handwritten Text Recognition Techniques참고 문헌 12인용 수 11

한 줄 요약

이 논문은 변수적인 텍스트 외관, 운동, 배경의 복잡성과 같은 과제를 해결하기 위해 강건한 아랍어 비디오 OCR를 위한 신경-퍼지 시스템인 NF-SAVO를 제안한다. 신경망을 통한 특징 학습과 퍼지 논리에 의한 불확실성 처리를 조합함으로써, 특히 아랍어 비디오에서 장면 텍스트 및 인위적 텍스트 유형에 대해 복잡한 비디오 장면 내에서 텍스트 검출 및 인식 성능을 향상시킨다.

ABSTRACT

In this paper we propose a robust approach for text extraction and recognition from video clips which is called Neuro-Fuzzy system for Arabic Video OCR. In Arabic video text recognition, a number of noise components provide the text relatively more complicated to separate from the background. Further, the characters can be moving or presented in a diversity of colors, sizes and fonts that are not uniform. Added to this, is the fact that the background is usually moving making text extraction a more intricate process. Video include two kinds of text, scene text and artificial text. Scene text is usually text that becomes part of the scene itself as it is recorded at the time of filming the scene. But artificial text is produced separately and away from the scene and is laid over it at a later stage or during the post processing time. The emergence of artificial text is consequently vigilantly directed. This type of text carries with it important information that helps in video referencing, indexing and retrieval.

연구 동기 및 목표

• 변동하는 텍스트 외관, 운동, 복잡한 배경으로 인한 아랍어 비디오 OCR의 과제를 해결하기 위해.
• 비디오 콘텐츠 내에서 장면 텍스트(자연적으로 발생하는 텍스트)와 인위적 텍스트(후처리 과정에서 추가된 텍스트)를 구분하기 위해.
• 노이즈와 변동성에도 불구하고 실제 비디오 시퀀스에서 텍스트를 고정밀도로 추출하고 인식할 수 있는 강건한 시스템을 개발하기 위해.
• 비균일 조건에서의 인식 성능 향상과 불확실성 처리를 위한 신경-퍼지 기법의 통합을 위해.

제안 방법

• 시스템은 신경망을 통한 특징 추출과 불확실성 하에서의 의사결정을 위한 퍼지 추론을 조합한 신경-퍼지 아키텍처를 사용한다.
• 비디오 프레임에서 텍스트 영역을 강화하고 배경 노이즈를 억제하기 위해 사전 처리 기법을 적용한다.
• 퍼지 논리는 문자의 형태, 크기, 색상에 대한 불확실성을 모델링하여 변동성에 대한 강건성을 향상시킨다.
• 맥락적 및 공간적 신호를 기반으로 텍스트를 장면 텍스트 또는 인위적 텍스트로 분류한다.
• 신경망은 아랍 문자를 인식하도록 훈련되며, 퍼지 규칙는 분류 결정을 정밀화한다.
• 프레임 단위로 비디오 시퀀스를 처리하여 운동과 배경 변화를 다루면서도 텍스트를 검출하고 인식한다.

실험 결과

연구 질문

• RQ1 어떻게 신경-퍼지 시스템이 운동과 노이즈가 있는 복잡한 비디오 배경에서 아랍어 텍스트를 효과적으로 추출할 수 있는가?
• RQ2 아랍어 비디오 OCR에서 장면 텍스트와 인위적 텍스트의 인식 성능는 어떻게 다른가?
• RQ3 퍼지 논리가 변수적인 폰트, 크기, 색상 조건에서 얼마나 정확도를 향상시킬 수 있는가?
• RQ4 신경망과 퍼지 추론의 통합은 비디오 텍스트 검출의 강건성을 어떻게 향상시키는가?

주요 결과

• 제안된 NF-SAVO 시스템은 텍스트 외관과 배경 역학에 큰 변동성이 있는 아랍어 비디오 시퀀스에서 향상된 텍스트 검출 및 인식 성능를 달성한다.
• 신경-퍼지 접근법은 문자의 형태와 색상에 대한 불확실성을 효과적으로 처리하여 복잡한 장면에서 오분류를 감소시킨다.
• 일반적으로 더 체계적이고 정보가 풍부한 인위적 텍스트는 높은 신뢰도로 성공적으로 구분되고 추출된다.
• 시스템은 운동과 배경 변화에 대해 강건성을 보이며, 동적인 비디오 환경에서 전통적인 OCR 방법보다 뛰어난 성능을 보인다.