[논문 리뷰] Single Shot Text Detector with Regional Attention

Pan He, Weilin Huang외 4명|arXiv (Cornell University)|2017. 09. 01.

Handwritten Text Recognition Techniques참고 문헌 31인용 수 58

한 줄 요약

단일 샷 텍스트 탐지기(SSD 기반)와 텍스트 주의 모듈(TAM) 및 계층적 인셉션 모듈(HIM)이 직접 단어 수준 바운딩 박스를 출력하고 ICDAR 2013/2015 및 COCO-Text에서 최첨단 성능을 달성한다.

ABSTRACT

We present a novel single-shot text detector that directly outputs word-level bounding boxes in a natural image. We propose an attention mechanism which roughly identifies text regions via an automatically learned attentional map. This substantially suppresses background interference in the convolutional features, which is the key to producing accurate inference of words, particularly at extremely small sizes. This results in a single model that essentially works in a coarse-to-fine manner. It departs from recent FCN- based text detectors which cascade multiple FCN models to achieve an accurate prediction. Furthermore, we develop a hierarchical inception module which efficiently aggregates multi-scale inception features. This enhances local details, and also encodes strong context information, allow- ing the detector to work reliably on multi-scale and multi- orientation text with single-scale images. Our text detector achieves an F-measure of 77% on the ICDAR 2015 bench- mark, advancing the state-of-the-art results in [18, 28]. Demo is available at: http://sstd.whuang.org/.

연구 동기 및 목표

• 자연 이미지에서 크기와 방향이 다양한 텍스트의 단어 수준 정확한 탐지 도전 과제 해결.
• 단일 패스에서 직접 단어 바운딩 박스를 제공하여 다단 아래위(bottom-up) 처리 제거.
• 다중 스케일 및 다방향 텍스트를 위한 특화 모듈을 통해 특징 표현 강화.
• 주의 메커니즘을 통해 대략적인 텍스트 영역을 학습하기 위한 텍스트 특화 감독 신호 도입.
• 실용적이고 빠른 단일 샷 텍스트 탐지를 가능하게 하도록 강건성 및 속도 향상.

제안 방법

• 픽셀 단위의 텍스트 마스크를 학습하고 Aggregated Inception Features(AIFs)에 텍스트 영역 주의를 주입하는 Text Attention Module(TAM) 도입.
• 다중 스케일 인셉션 특징을 집계하고 레이어 간 정보를 융합하여 더 풍부한 AIF를 형성하는 Hierarchical Inception Module(HIM) 개발.
• SSD 프레임워크에 TAM과 HIM을 통합하여 한 번에 글자 수준 바운딩 박스를 직접 출력(간단한 NMS 포함).
• 주의 학습을 가이드하기 위한 보조 감독으로 픽셀 단위의 텍스트 마스크 손실을 가지고 엔드 투 엔드로 학습.
• 다양한 스케일과 종횡비를 가진 다중 스케일 기본 상자 세트를 사용하여 위치당 N개의 바운딩 박스를 예측하며 방향 매개변수 포함.
• ICDAR 2013, ICDAR 2015 및 COCO-Text에서 최첨단 성능과 효율성을 입증하기 위해 평가.

실험 결과

연구 질문

• RQ1 단일 샷 SSD 기반 탐지기가 후처리 없이 텍스트 특수 모듈로 직접 단어 수준 바운딩 박스를 예측하도록 확장될 수 있는가?
• RQ2 TAM과 HIM이 자연 장면에서 다중 스케일 및 다 방향 텍스트 탐지의 재현율과 정밀도를 개선하는가?
• RQ3 제안된 방법이 정확도와 속도 측면에서 표준 벤치마크(ICDAR 2013/2015, COCO-Text)에서 어떻게 수행되는가?

주요 결과

• ICDAR 2013에서 F-measure 0.87, ICDAR 2015에서 0.77의 최첨단 F-점수 달성.
• COCO-Text에서 F-score 0.37로 경쟁 방법보다 우수한 일반화 성능 입증.
• TAM과 HIM을 갖춘 단일 샷 탐지기가 단일 GPU에서 704x704 입력에 대해 이미지당 0.13초로 실행.
• TAM과 HIM은 각각 재현율과 정밀도를 개선하며, TAM+HIM이 전체 F-measure에서 최상(ICDAR 2013에서 0.87) 제공.
• 이 방법은 복잡한 후처리 없이도 작은 텍스트, 다중 스케일 및 다 방향 텍스트에 대해 높은 단어 수준 정확성을 유지.