[논문 리뷰] Accurate Text Localization in Natural Image with Cascaded Convolutional Text Network

Tong He, Weilin Huang외 2명|arXiv (Cornell University)|2016. 03. 31.

Handwritten Text Recognition Techniques참고 문헌 27인용 수 82

한 줄 요약

이 논문은 문자 기반 검출에 의존하지 않고 직접 텍스트 영역를 추정하는 방식으로, 자연 이미지 내 텍스트 정확한 국소화를 위한 새로운 계단식 컨volutional 텍스트 네트워크(CCTN)를 제안한다. 이는 군집화 및 후처리와 같은 복잡한 단계를 피하기 위해 군집화 및 후처리와 같은 복잡한 단계를 피하기 위해 계층적이고 상향식 접근 방식을 채택한다. 맞춤형 직사각형 컨볼루션과 네트워크 내 특징 융합을 통해 CCTN은 ICDAR 2011과 ICDAR 2013에서 각각 0.84와 0.86의 최고 수준의 F-측정치를 달성하며, 다국어 및 다방향 텍스트에 대해 뛰어난 일반화 성능을 보인다.

ABSTRACT

We introduce a new top-down pipeline for scene text detection. We propose a novel Cascaded Convolutional Text Network (CCTN) that joints two customized convolutional networks for coarse-to-fine text localization. The CCTN fast detects text regions roughly from a low-resolution image, and then accurately localizes text lines from each enlarged region. We cast previous character based detection into direct text region estimation, avoiding multiple bottom- up post-processing steps. It exhibits surprising robustness and discriminative power by considering whole text region as detection object which provides strong semantic information. We customize convolutional network by develop- ing rectangle convolutions and multiple in-network fusions. This enables it to handle multi-shape and multi-scale text efficiently. Furthermore, the CCTN is computationally efficient by sharing convolutional computations, and high-level property allows it to be invariant to various languages and multiple orientations. It achieves 0.84 and 0.86 F-measures on the ICDAR 2011 and ICDAR 2013, delivering substantial improvements over state-of-the-art results [23, 1].

연구 동기 및 목표

• 문자 기반 검출에 의존하는 전통적인 하향식 시나리오 텍스트 검출 방법의 한계를 해결한다.
• 문자 수준의 검출 파이프라인에 내재된 불안정성과 누적 오류를 극복한다.
• 전체 텍스트 영역의 문맥적 및 의미적 정보를 활용하여 직접적인 텍스트 영역 추정 방식을 개발함으로써 정확도와 분류 능력을 향상시킨다.
• 다양한 스케일, 형태, 방향의 텍스트를 제약 없는 환경에서 처리할 수 있는 계산 효율적인 아키텍처를 설계한다.
• 기본 벤치마크에서 최고 성능을 달성하면서도 언어 및 방향 간 일반화 능력을 유지한다.

제안 방법

• 두 단계로 구성된 계단식 아키텍처를 제안한다: 먼저 저해상도에서 텍스트 영역를 검출하는 코arse 네트워크를 거쳐, 이후 각 영역를 정밀하게 다듬는 피니어 네트워크로 구성된다.
• 장수평 텍스트 영역의 공간 기하학적 특성을 더 잘 포착하기 위해 직사각형 컨볼루션을 도입한다. 이는 장수평 텍스트 영역에 대해 표준 정사각형 필터보다 효과적이다.
• 다양한 텍스트 형태와 스케일에서 특징 표현을 향상시키고 국소화 정확도를 향상시키기 위해 네트워크 내 다중 특징 융합을 구현한다.
• 공유된 컨볼루션 계산을 유지하면서 공간 정보를 보존하고 계산 비용을 줄이기 위해 완전 컨volutional 네트워크를 활용한다.
• 문자 수준의 분류나 후처리 히우리스틱이 필요 없도록 엔드 투 엔드로 모델을 훈련시켜 직접적인 텍스트 영역 예측을 최적화한다.
• 복잡한 문자 후보군의 군집화를 피하기 위해 상향식 파이프라인을 사용하여 기하학적 규칙과 수동 임계값에 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 상향식, 영역 기반 접근 방식이 기존의 하향식, 문자 기반 파이프라인보다 시나리오 텍스트 검출에서 우월한 성능을 낼 수 있는가?
• RQ2 깊이 컨볼루션 네트워크를 사용한 직접적인 텍스트 영역 추정 방식이 다중 스케일 및 다중 방향 텍스트를 다루는 데 얼마나 효과적인가?
• RQ3 코어-투-파인 개선을 갖춘 계단식 아키텍처가 계산 효율성을 유지하면서도 국소화 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 영어 텍스트만으로 훈련된 모델이 미세조정 없이도 다른 언어와 기울인 텍스트에 효과적으로 일반화될 수 있는가?
• RQ5 직사각형 컨볼루션과 네트워크 내 특징 융합이 도전적인 제약 없는 자연 환경 이미지에서 성능 향상에 기여하는가?

주요 결과

• CCTN은 ICDAR 2011 벤치마크에서 F-측정치 0.84를 달성하여 이전 최고 수준의 방법들보다 뚜렷한 우월성을 보였다.
• ICDAR 2013 데이터셋에서 CCTN은 F-측정치 0.86을 기록하여 기존 접근 방식보다 상당한 향상을 이뤘다.
• 모델은 다국어 및 다방향 텍스트에 대해 잘 일반화되며, MSRA-TD500 데이터셋에서 훈련 데이터를 사용하지 않고도 F-측정치 0.71을 달성했다.
• 코어 단계에서 높은 정밀도(0.90)를 기록했음에도 불구하고, 피니어 네트워크에서 일부 가짜 양성 결과가 발생하여 정밀도 향상 과정에서의 상충 관계가 드러났다.
• 작은 스케일과 큰 스케일 텍스트 모두에서 뛰어난 성능 유지를 보이며, 다양한 이미지 조건에서 강건함을 입증했다.
• 계단식 설계 덕분에 복잡한 후처리 단계에 대한 의존도가 감소하여 더 신뢰성 있고 효율적인 검출 파이프라인을 구현했다.