[논문 리뷰] WordFence: Text Detection in Natural Images with Border Awareness

Andrei Polzounov, Artsiom Ablavatski외 3명|arXiv (Cornell University)|2017. 05. 15.

Handwritten Text Recognition Techniques참고 문헌 20인용 수 11

한 줄 요약

WordFence는 경계 인식 특징 학습과 새로운 픽셀 단위 가중 소프트맥스 손실을 사용한 의미 분할을 통해 자연 이미지 내 개별 단어의 국소화를 향상시키는 엔드 투 엔드 단어 검출 시스템을 제안한다. 고감도의 다중 해상도 추론과 투표 기반 분할 병합을 통해 후처리를 제거함으로써 ICDAR13에서 SOTA 86% F-스코어, ICDAR11/13에서 92% 리콜을 달성한다.

ABSTRACT

In recent years, text recognition has achieved remarkable success in recognizing scanned document text. However, word recognition in natural images is still an open problem, which generally requires time consuming post-processing steps. We present a novel architecture for individual word detection in scene images based on semantic segmentation. Our contributions are twofold: the concept of WordFence, which detects border areas surrounding each individual word and a novel pixelwise weighted softmax loss function which penalizes background and emphasizes small text regions. WordFence ensures that each word is detected individually, and the new loss function provides a strong training signal to both text and word border localization. The proposed technique avoids intensive post-processing, producing an end-to-end word detection system. We achieve superior localization recall on common benchmark datasets - 92% recall on ICDAR11 and ICDAR13 and 63% recall on SVT. Furthermore, our end-to-end word recognition system achieves state-of-the-art 86% F-Score on ICDAR13.

연구 동기 및 목표

• 자연 이미지 내 텍스트의 크기, 폰트, 방향, 품질 등 다양성이 큰 조건에서도 정확한 개별 단어 검출에 도전한다.
• 의미 분할을 통한 엔드 투 엔드 검출을 통해 시간이 오래 걸리는 후처리 히ュ리스틱에 의존하지 않도록 한다.
• 경계 인식 특징 학습을 활용해 소형 및 복잡한 텍스트 영역의 검출 리콜과 국소화 정밀도를 향상시킨다.
• 텍스트 및 경계 픽셀에 초점을 맞춘 손실 함수를 개발하여 소형 및 저대비 텍스트 영역의 학습 신호를 강화한다.
• 고품질의 검출 제안과 강력한 인식 모델을 조합함으로써 엔드 투 엔드 단어 인식 성능을 SOTA로 향상시킨다.

제안 방법

• 개별 단어 주변의 경계 영역을 검출함으로써 정밀한 단어 분리가 가능한 새로운 아키텍처인 WordFence를 도입한다.
• 클래스 픽셀 수에 따라 정규화되는 픽셀 단위 가중 소프트맥스 손실 함수를 적용하여 배경에 대해 더 높은 페널티를 주고 소형 텍스트 영역을 강조한다.
• 공간 해상도를 유지하고 다중 해상도 특징을 캡처하기 위해 확장된 컨볼루션을 사용한 완전 컨volution 네트워크(FCNs)를 활용한다.
• 입력 이미지에 대해 다중 해상도 추론을 적용하여 다양한 해상도에서 분할 맵을 생성함으로써 검출의 강건성을 향상시킨다.
• 스케일 간 투표 메커니즘을 적용: 각 픽셀의 최대 클래스 확률을 합산하여 업샘플링된 분할 맵을 병합하여 최종적인 노이즈 제거된 분할 맵을 생성한다.
• 최종 분할 맵에서 바운딩 박스를 추출하여 공간 일관성에 기반해 오진 양성과 중복을 최소화한다.

실험 결과

연구 질문

• RQ1 경계 인식 특징 학습은 자연 풍경 이미지 내 개별 단어의 분할 및 국소화에 개선을 이끌 수 있는가?
• RQ2 배경에 대한 페널티를 높이고 소형 텍스트 영역을 강조하는 가중 소프트맥스 손실은 더 높은 검출 리콜과 정밀도를 이끌 수 있는가?
• RQ3 투표 기반 병합을 사용한 다중 해상도 추론은 후처리 없이도 오진 양성과 중복을 줄일 수 있는가?
• RQ4 고감도 검출을 갖춘 엔드 투 엔드 시스템은 얼마나 높은 수준의 단어 인식 성능을 달성할 수 있는가?
• RQ5 ICDAR11, ICDAR13, SVT와 같은 표준 벤치마크에서 기존 방법과 비교해 성능 측면에서 리콜과 F-스코어 측면에서 어떻게 비교되는가?

주요 결과

• WordFence는 ICDAR11 및 ICDAR13에서 92% 국소화 리콜을 달성하여 이전의 다중 해상도 검출 방법보다 15% 향상된 성능을 보였다.
• 더 도전적인 SVT 데이터셋에서 63% 리콜을 기록하여 다양한 텍스트 조건에 대한 강건성을 입증했다.
• 엔드 투 엔드 단어 인식 시스템은 ICDAR13에서 SOTA 86% F-스코어를 달성하여 이전 방법들을 능가했다.
• 제안된 가중 소프트맥스 손실은 소형 및 저대비 텍스트 영역의 학습 신호를 크게 향상시켜 오진 음성 수를 줄였다.
• 다중 해상도 분할 맵의 투표 기반 병합은 오진 양성과 중복을 효과적으로 줄였으며, 후처리 없이도 고리콜을 달성할 수 있도록 했다.
• 수작업 히ュ리스틱이나 지식 기반 필터링에 의존하지 않고도 경쟁 가능한 성능을 달성하여 순수 딥 러닝과 아키텍처 혁신의 효과성을 입증했다.