[논문 리뷰] Boosting up Scene Text Detectors with Guided CNN

Xiaoyu Yue, Zhanghui Kuang외 5명|arXiv (Cornell University)|2018. 05. 10.

Handwritten Text Recognition Techniques인용 수 6

한 줄 요약

이 논문은 단일 스테이지 스캐닝 텍스트 검출기의 정확도와 속도를 향상시키기 위해 경량 가이던스 하위넷을 사용해 희박한 마스크를 예측하고, 주 검출기의 모든 계산을 이 마스크 내부로 제한하는 일반적인 프레임워크인 Guided CNN을 제안한다. 이 방법은 ICDAR 2013에서 최대 2.9배의 속도 향상과 1.5% 향상된 F-측정치를 달성했으며, ICDAR 2015에서는 2.0배의 속도 향상과 1.0% F-측정치 향상을 기록하여 최신 기술을 초월하면서도 높은 재현율을 유지한다.

ABSTRACT

Deep CNNs have achieved great success in text detection. Most of existing methods attempt to improve accuracy with sophisticated network design, while paying less attention on speed. In this paper, we propose a general framework for text detection called Guided CNN to achieve the two goals simultaneously. The proposed model consists of one guidance subnetwork, where a guidance mask is learned from the input image itself, and one primary text detector, where every convolution and non-linear operation are conducted only in the guidance mask. On the one hand, the guidance subnetwork filters out non-text regions coarsely, greatly reduces the computation complexity. On the other hand, the primary text detector focuses on distinguishing between text and hard non-text regions and regressing text bounding boxes, achieves a better detection accuracy. A training strategy, called background-aware block-wise random synthesis, is proposed to further boost up the performance. We demonstrate that the proposed Guided CNN is not only effective but also efficient with two state-of-the-art methods, CTPN and EAST, as backbones. On the challenging benchmark ICDAR 2013, it speeds up CTPN by 2.9 times on average, while improving the F-measure by 1.5%. On ICDAR 2015, it speeds up EAST by 2.0 times while improving the F-measure by 1.0%.

연구 동기 및 목표

• 기존의 딥 컨볼루션 네트워크 기반 텍스트 검출기가 불필요하게 큰 배경 영역을 처리하는 데서 비효율성을 해결하기 위해.
• 주요 텍스트 영역에 집중함으로써 속도를 희생시키지 않고 정확도를 향상시키기 위해.
• CTPN 및 EAST와 같은 기존 단일 프로퍼티 컨볼루션 네트워크 기반 검출기와 호환되는 일반적이고 즉시 사용 가능한 프레임워크를 설계하기 위해.
• 일반화 능력과 강건성을 향상시키면서도 계산 효율성을 유지하는 훈련 전략을 개발하기 위해.
• 학습된 가이던스를 통해 비텍스트 영역을 필터링하면 동시에 속도와 정확도를 향상시킬 수 있는지 입증하기 위해.

제안 방법

• 가이던스 하위넷은 입력 이미지에서 텍스트 영역으로 보이는 영역을 강조하는 이진 마스크를 예측한다.
• 주 텍스트 검출기의 모든 컨볼루션 및 비선형 연산은 가이던스 마스크 내부에서만 수행되어 계산을 극적으로 감소시킨다.
• 가이던스 하위넷에서 다이어터드 컨볼루션을 사용한 컨텍스트 모듈을 도입하여 다중 척도의 맥락 정보를 포착한다.
• 다양한 배경 패턴을 시뮬레이션하고 일반화 능력을 향상시키기 위해 배경 인식형 블록 단위 무작위 합성 훈련 전략을 도입한다.
• 훈련 과정에서 가이던스 마스크를 학습 가능한 동적 드롭아웃 유사 메커니즘으로 간주하여 배경 혼잡함에 대한 강건성을 유도한다.
• 이 방법은 어떤 단일 프로퍼티 컨볼루션 네트워크 기반 검출기와도 호환되어 CTPN 및 EAST 백본에 즉시 통합할 수 있다.

실험 결과

연구 질문

• RQ1 경량 가이던스 네트워크가 정확도를 저하시키지 않고 검출기의 계산을 줄일 수 있는가?
• RQ2 학습된 마스크를 통해 비텍스트 영역을 필터링하면 검출 성능과 추론 속도가 향상되는가?
• RQ3 배경 인식형 데이터 증강 전략이 텍스트 검출에서 일반화 능력을 향상시키는가?
• RQ4 제안된 프레임워크는 CTPN 및 EAST와 같은 다양한 최신 기술 기반 검출기들에 효과적으로 적용될 수 있는가?
• RQ5 성능 향상은 어려운 음성 예외(examples)에 대한 집중 때문인가, 아니면 향상된 특징 학습 때문인가?

주요 결과

• Guided CTPN은 ICDAR 2013에서 원본 CTPN 대비 2.9배의 속도 향상을 기록했으며, F-측정치도 1.5% 향상되었다.
• ICDAR 2015에서 Guided EAST는 원본 EAST 대비 2.0배의 속도 향상과 F-측정치 1.0% 향상을 달성했다.
• Guided CTPN+는 ICDAR 2013에서 2.8%의 F-측정치 향상을 기록했으며, ICDAR 2015에서는 두 번째로 우수한 성능을 보인 RRPN보다 2.3% 높은 성능을 기록했다.
• 전체 이미지 영역의 90%를 필터링한 후에도 Guided CTPN은 높은 재현율을 유지하여 효과적인 가이던스를 입증했다.
• 가이던스 하위넷은 총 추론 시간의 15%에 불과하여 마스킹 전략의 효율성을 확인했다.
• 배경 인식형 블록 단위 무작위 합성 전략은 특히 혼잡한 환경에서 모델의 일반화 능력을 향상시켰다.