[논문 리뷰] Pixel-Anchor: A Fast Oriented Scene Text Detector with Combined Networks

Yuan Li, Yuanjie Yu외 5명|arXiv (Cornell University)|2018. 11. 19.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 27

한 줄 요약

Pixel-Anchor는 특성 공유와 앵커 수준의 주의 메커니즘을 통해 의미 분할과 SSD를 결합함으로써 빠르고 엔드 투 엔드로 동작하는 경향성 있는 시나리오 텍스트 검출기를 제안한다. 분할 브랜치에 FPN과 ASPP를 통합하고 SSD에 적응형 예측 레이어를 도입함으로써, 960×1728 해상도 이미지에서 ICDAR 2015에서 10 FPS로 87.68%의 F-스코어를 달성하여 이전 방법들보다 정확도와 속도 면에서 뛰어나다.

ABSTRACT

Recently, semantic segmentation and general object detection frameworks have been widely adopted by scene text detecting tasks. However, both of them alone have obvious shortcomings in practice. In this paper, we propose a novel end-to-end trainable deep neural network framework, named Pixel-Anchor, which combines semantic segmentation and SSD in one network by feature sharing and anchor-level attention mechanism to detect oriented scene text. To deal with scene text which has large variances in size and aspect ratio, we combine FPN and ASPP operation as our encoder-decoder structure in the semantic segmentation part, and propose a novel Adaptive Predictor Layer in the SSD. Pixel-Anchor detects scene text in a single network forward pass, no complex post-processing other than an efficient fusion Non-Maximum Suppression is involved. We have benchmarked the proposed Pixel-Anchor on the public datasets. Pixel-Anchor outperforms the competing methods in terms of text localization accuracy and run speed, more specifically, on the ICDAR 2015 dataset, the proposed algorithm achieves an F-score of 0.8768 at 10 FPS for 960 x 1728 resolution images.

연구 동기 및 목표

• 단독으로 사용되는 의미 분할 및 객체 검출 프레임워크가 경향성 있는 시나리오 텍스트 검출에서 가지는 한계를 해결하기 위해.
• 경향성 있는 텍스트 검출을 위해 의미 분할과 SSD의 장점을 효과적으로 융합하는 통합형 엔드 투 엔드 학습 가능한 네트워크를 개발하기 위해.
• 크기와 종횡비의 큰 변동성이 있는 시나리오 텍스트의 검출 정확도와 추론 속도를 향상시키기 위해.
• 비효율적인 후처리에 대한 의존도를 줄이기 위해, 비최대 억제를 단 한 번의 효율적인 융합 단계로 최소화하기 위해.

제안 방법

• 의미 분할 브랜치에서 다중 척도 특성 표현을 향상시키기 위해 FPN과 ASPP를 사용한 특성 공유 인코더-디코더 구조를 통합한다.
• 특성 품질과 공간적 맥락에 기반해 검출 헤드의 가중치를 동적으로 조정하기 위해 앵커 수준의 주의 메커니즘을 적용한다.
• 크고 다양한 종횡비를 가진 텍스트를 더 잘 처리하기 위해 SSD 헤드에 적응형 예측 레이어를 도입한다.
• 엔드 투 엔드 추론을 위해 단일 순방향 전파를 사용하며, 후처리를 간소화된 비최대 억제 융합 단계로 최소화한다.
• 분할 및 검출 브랜치 간의 공유 특성을 활용하여 파라미터 효율성과 특성 일관성을 향상시킨다.
• 특성 복잡성과 계산 비용의 균형을 맞추어 실시간 추론을 최적화한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 경향성 있는 시나리오 텍스트 검출을 위해 의미 분할과 SSD를 효과적으로 융합할 수 있는가?
• RQ2 특성 공유와 주의 메커니즘은 극단적인 종횡비와 크기 변동성이 있는 텍스트의 검출 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 FPN과 ASPP의 통합이 텍스트 검출에서 다중 척도 특성 학습을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 적응형 예측 레이어가 다양한 방향성과 치수를 가진 경향성 있는 텍스트를 처리하는 데 기존의 표준 SSD 헤드보다 뛰어나게 작용할 수 있는가?
• RQ5 기존 최첨단 기술 대비 제안된 방법은 속도와 정확도 사이에서 어떻게 균형을 이루는가?

주요 결과

• Pixel-Anchor는 960×1728 해상도 이미지에서 ICDAR 2015 데이터셋에서 10 FPS로 0.8768의 F-스코어를 달성하여 높은 정확도와 실시간 성능를 입증한다.
• 모델은 정위치 정확도와 추론 속도 면에서 경쟁 기술들을 모두 압도하여 통합 아키텍처의 효과성을 확인한다.
• 분할 브랜치에 FPN과 ASPP를 통합함으로써 다중 척도 텍스트 검출을 위한 특성 표현이 크게 향상된다.
• 앵커 수준의 주의 메커니즘이 고신뢰도 영역에 집중함으로써 검출 신뢰도를 향상시키고 가짜 양성 결과를 줄인다.
• 적응형 예측 레이어가 극단적인 종횡비와 크기 변동성을 효과적으로 처리하여 검출의 강건성을 향상시킨다.
• 단일 효율적인 비최대 억제 융합 단계를 사용함으로써 후처리 오버헤드를 줄였지만 정확도를 손상시키지 않는다.