[논문 리뷰] Incidental Scene Text Understanding: Recent Progresses on ICDAR 2015 Robust Reading Competition Challenge 4

Cong Yao, Jianan Wu외 5명|arXiv (Cornell University)|2015. 11. 30.

Handwritten Text Recognition Techniques참고 문헌 30인용 수 17

한 줄 요약

이 논문은 임의의 장면 텍스트 이해를 위한 딥러닝 기반 접근법을 제시하며, 풀 컨volution 네트워크(FCN)를 사용해 텍스트 검출을 의미적 세그멘테이션 문제로 재정의하고, CNN-LSTM과 커넥티스트 타임클래식리케이션(CTC)을 조합해 단어 인식을 수행하며, 양자를 통합해 엔드 투 엔드 인식을 구현한다. 이 방법은 ICDAR 2015 Robust Reading Competition Challenge 4에서 강력한 맥락 조건 하에 텍스트 로컬라이제이션 F-측정치 0.6376, 단어 인식 F-측정치 0.6399, 엔드 투 엔드 인식 F-측정치 0.4674로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Different from focused texts present in natural images, which are captured with user's intention and intervention, incidental texts usually exhibit much more diversity, variability and complexity, thus posing significant difficulties and challenges for scene text detection and recognition algorithms. The ICDAR 2015 Robust Reading Competition Challenge 4 was launched to assess the performance of existing scene text detection and recognition methods on incidental texts as well as to stimulate novel ideas and solutions. This report is dedicated to briefly introduce our strategies for this challenging problem and compare them with prior arts in this field.

연구 동기 및 목표

• 흐림, 기울임, 낮은 조명, 혼잡함 등의 원인으로 인해 집중된 텍스트보다 본질적으로 더 복잡한 임의의 장면 텍스트를 검출하고 인식하는 과제를 해결한다.
• 실제 자연 이미지에서 제약 조건이 없는 환경을 중심으로 한 ICDAR 2015 Robust Reading Competition Challenge 4의 기존 방법들을 평가한다.
• 임의의 장면 텍스트에 특화된 텍스트 검출, 단어 인식, 엔드 투 엔드 인식 전략을 개발하고 검증한다.
• 복잡한 실제 데이터에서 전통적인 局부적 검출 방법보다 종합적인 딥러닝 기반 접근법의 우수성을 입증한다.

제안 방법

• 텍스트 영역의 픽셀별 확률을 예측하기 위해 풀 컨볼루션 네트워크(FCN)를 사용해 장면 텍스트 검출을 의미적 세그멘테이션 문제로 재정의한다.
• 임계값 설정과 연결된 성분 분석을 적용해 FCN 예측 맵으로부터 최종 텍스트 바운딩 박스를 생성한다.
• 컨볼루션 계층, 장기 기억 순환 네트워크(LSTM), 그리고 시퀀스 모델링을 위한 커넥티스트 타임클래식리케이션(CTC) 계층을 조합한 하이브리드 인식 모델을 구현한다.
• 초기 인식 결과를 보정하고 단어 수준의 정확도를 향상시키기 위해 사전 기반 오류 보정 모듈을 통합한다.
• 제안된 검출 및 인식 모델을 통합해 공동 최적화 및 추론이 가능한 엔드 투 엔드 시스템을 구성한다.
• 기본 평가 지표로 F-측정치, 총 편집 거리(TED), 정확한 인식 단어 비율(C.R.W.)을 사용해 ICDAR 2015 데이터셋에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 임의의 장면에서 전통적인 국소적 후보 생성 방식과 비교해 종합적인 FCN 기반 의미적 세그멘테이션 접근법은 텍스트 검출에서 어떻게 성능을 내는가?
• RQ2 사전 기반 오류 보정을 통합한 CNN-LSTM-CTC 아키텍처는 도전적인 임의의 장면 텍스트에서 단어 인식 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 검출과 인식을 엔드 투 엔드 시스템으로 통합하면 제약 조건이 없는 실제 데이터에서 별도의 파ipeline보다 더 높은 성능을 낼 수 있는가?
• RQ4 제안된 방법은 ICDAR 2015 벤치마크에서 강한, 약한, 일반적인 맥락 설정에서 각각 어떻게 성능을 내는가?
• RQ5 ICDAR 2015 Challenge 4 및 Challenge 1 데이터셋에서 제안된 방법은 이전 최신 기술 수준 방법 대비 어느 정도 향상되었는가?

주요 결과

• 제안된 텍스트 검출 방법(Megvii-Image++)은 ICDAR 2015 텍스트 로컬라이제이션 과제에서 F-측정치 0.6376을 기록했으며, 이는 이전 최신 기술 수준(0.4984)을 크게 초월한 성과이다.
• 단어 인식 과제에서 총 편집 거리(TED)는 377.9로 감소하고 정확한 인식 단어 비율(C.R.W.)은 0.6399로 상당히 향상되어 이전 방법보다 뛰어난 성능을 보였다.
• 강력한 맥락 조건 설정 하에서 엔드 투 엔드 인식 과제에서 F-측정치 0.4674를 기록했으며, 참가한 모든 방법들 중에서 가장 높은 성능을 기록했다.
• 더 현실적인 약한 맥락 조건 설정과 일반 설정에서는 모든 지표가 거의 두 배로 향상되어 F-측정치 각각 0.400과 0.3286을 기록했다.
• ICDAR 2015 Challenge 1 (Born-Digital) 데이터셋에서도 강한 설정 하에서 F-측정치 0.8535로 최신 기술 수준 성능을 유지했다.
• 제안된 방법은 다양한 어려운 실제 장면 텍스트 환경에서 뛰어난 강건성과 일반화 능력을 보였다.