[논문 리뷰] Feature Enhancement Network: A Refined Scene Text Detector

Sheng Zhang, Yuliang Liu외 2명|arXiv (Cornell University)|2017. 11. 12.

Handwritten Text Recognition Techniques참고 문헌 27인용 수 17

한 줄 요약

이 논문은 소형 및 박막 텍스트의 검출을 향상시키기 위해 저수준 및 고수준 특징의 작업별 융합을 통합한 기능 향상 네트워크(FEN)를 제안한다. 소형 및 박막 텍스트의 검출을 향상시키기 위해 작업별 융합을 통합한 기능 향상 네트워크(FEN)를 제안한다. 적응형 가중치를 부여한 위치 민감 RoI 풀링 레이어와 양성 샘플 마이닝 전략을 도입하여 샘플 불균형 문제를 해결하였으며, 엔드 투 엔드 학습을 통해 ICDAR 2011 및 2013 벤치마크에서 최신 기술 수준의 F-측정치를 달성하였다.

ABSTRACT

In this paper, we propose a refined scene text detector with a extit{novel} Feature Enhancement Network (FEN) for Region Proposal and Text Detection Refinement. Retrospectively, both region proposal with extit{only} $3 imes 3$ sliding-window feature and text detection refinement with extit{single scale} high level feature are insufficient, especially for smaller scene text. Therefore, we design a new FEN network with extit{task-specific}, extit{low} and extit{high} level semantic features fusion to improve the performance of text detection. Besides, since extit{unitary} position-sensitive RoI pooling in general object detection is unreasonable for variable text regions, an extit{adaptively weighted} position-sensitive RoI pooling layer is devised for further enhancing the detecting accuracy. To tackle the extit{sample-imbalance} problem during the refinement stage, we also propose an effective extit{positives mining} strategy for efficiently training our network. Experiments on ICDAR 2011 and 2013 robust text detection benchmarks demonstrate that our method can achieve state-of-the-art results, outperforming all reported methods in terms of F-measure.

연구 동기 및 목표

• 기존 스트리트 텍스트 검출기의 소형 및 박막 텍스트 영역 검출에 대한 한계를 해결하기 위해.
• 작업별로 저수준 및 고수준 의미 특징을 융합하여 검출 정확도를 향상시키기 위해.
• 정련 단계에서 샘플 불균형 문제를 효과적인 양성 샘플 마이닝 전략을 통해 해결하기 위해.
• 적응형 가중치를 부여한 위치 민감 RoI 풀링 레이어를 사용하여 영역 제안 및 검출 정련을 향상시키기 위해.
• 표준 ICDAR 2011 및 2013 벤치마크에서 강건한 스트리트 텍스트 검출을 위한 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 저수준 및 고수준 특징을 융합하여 텍스트 검출에서 개선된 특징 표현을 얻기 위한 기능 향상 네트워크 스템(FENS)을 제안한다.
• 영역 제안 및 검출 정련을 향상시키기 위해 기능 향상 RPN(FE-RPN) 및 하이퍼 특징 생성 모듈을 도입한다.
• 변동하는 종횡비를 가진 텍스트 영역을 더 잘 처리하기 위해 적응형 가중치를 부여한 위치 민감 RoI 풀링 레이어를 설계한다.
• 학습 중 배경 및 전경 샘플의 균형을 개선하여 모델 수렴을 향상시키기 위해 양성 샘플 마이닝 전략을 개발한다.
• 다양한 입력 해상도에서의 예측을 집계하기 위해 비최대 억제(NMS)를 사용한 다중 척도 테스트를 구현한다.
• 영역 제안 및 정련 단계를 결합한 공동 최적화를 통해 전체 네트워크를 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 작업별로 저수준 및 고수준 특징을 융합하면 소형 및 박막 스트리트 텍스트의 검출 성능을 향상시킬 수 있는가?
• RQ2 적응형 가중치를 부여한 위치 민감 RoI 풀링은 변동하는 종횡비를 가진 텍스트 영역 검출에서 표준 단일 풀링보다 우수한가?
• RQ3 전용 양성 샘플 마이닝 전략은 검출 정련 단계에서의 샘플 불균형을 효과적으로 완화할 수 있는가?
• RQ4 제안된 FEN 프레임워크는 기존 최신 기술 수준의 방법과 비교해 ICDAR 표준 벤치마크에서 F-측정치를 얼마나 향상시키는가?

주요 결과

• 제안된 FEN 프레임워크는 ICDAR 2011 및 2013 데이터셋에서 원래의 R-FCN 베이스라인 대비 평균 재현율 5% 향상 및 F-측정치 3% 향상 달성.
• 적응형 가중치를 부여한 위치 민감 RoI 풀링은 표준 풀링 대비 ICDAR 2013에서 F-측정치 1.9% 향상, ICDAR 2011에서 1.1% 향상.
• 양성 샘플 마이닝 전략을 통해 전경 대 배경 샘플 비율을 1:4 이하에서 약 2:5로 개선하여 심각한 클래스 불균형 문제 해결.
• 다중 척도 테스트를 통해 이 방법은 ICDAR 2011 및 2013 벤치마크에서 모두 최신 기술 수준의 F-측정치를 기록하였으며, 이전에 보고된 모든 방법을 능가.
• 입력 측면 길이를 720으로 단축함에도 불구하고 높은 성능 유지하여 입력 해상도 변화에 대한 강건성을 입증.
• 강화된 아키텍처에도 불구하고 경쟁 가능한 추론 속도 유지를 통해 다른 최신 기술 수준의 방법과 유사한 성능 유지를 하였다.