[논문 리뷰] Towards End-to-end Text Spotting with Convolutional Recurrent Neural Networks

Hui Li, Peng Wang외 1명|arXiv (Cornell University)|2017. 07. 13.

Handwritten Text Recognition Techniques참고 문헌 27인용 수 27

한 줄 요약

이 논문은 자연 풍경 이미지 내에서 텍스트를 동시에 검출하고 인식하는 통합 아키텍처를 사용하여 종단 간(end-to-end) 컨볼루션 순환 신경망을 제안한다. 검출과 인식 간에 컨볼루션 특징을 공유하고, RNN 인코딩을 사용한 변형 크기의 RoI 풀링을 적용함으로써, 단일 순방향 전파를 통해 ICDAR2011 및 ICDAR2015 벤치마크에서 최신 기술 수준의 성능을 달성하며 중간 처리 단계를 제거한다.

ABSTRACT

In this work, we jointly address the problem of text detection and recognition in natural scene images based on convolutional recurrent neural networks. We propose a unified network that simultaneously localizes and recognizes text with a single forward pass, avoiding intermediate processes like image cropping and feature re-calculation, word separation, or character grouping. In contrast to existing approaches that consider text detection and recognition as two distinct tasks and tackle them one by one, the proposed framework settles these two tasks concurrently. The whole framework can be trained end-to-end, requiring only images, the ground-truth bounding boxes and text labels. Through end-to-end training, the learned features can be more informative, which improves the overall performance. The convolutional features are calculated only once and shared by both detection and recognition, which saves processing time. Our proposed method has achieved competitive performance on several benchmark datasets.

연구 동기 및 목표

• 에러 전파와 중복 계산 문제로 인해 성능에 악영향을 미치는 순차적 텍스트 검출 및 인식 파이프라인의 한계를 해결한다.
• 종단 간 훈련을 통해 검출과 인식을 공동 최적화하여 특징의 정보성과 전체 성능을 향상시킨다.
• 고정 크기의 RoI 풀링으로 인한 왜곡을 방지하기 위해 텍스트 바운딩 박스의 종횡비 다양성을 유지하는 영역 특징 인코딩 방법을 설계한다.
• 합성 데이터에서 실제 세계 데이터로 점진적으로 훈련하는 커리큘럼 학습 전략을 개발하여, 다양한 외관에 대한 강건성을 향상시킨다.
• 단어 수준의 그룹화나 문자 분할을 요구하지 않으며, 표준 벤치마크에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 텍스트 제안 네트워크(TPN)를 통합하여 객체 제안을 생성하고, 변형 가능한 크기의 RoI를 처리할 수 있는 RNN 기반 영역 특징 인코더를 사용하는 통합 딥 네트워크 아키텍처를 제안한다.
• 각 텍스트 제안의 종횡비에 맞게 풀링 격자를 조정하는 변형 크기의 풀링 메커니즘을 도입하여, 긴 또는 좁은 단어의 공간적 세부 정보를 유지한다.
• 인코딩된 영역 특징의 관련 부분에 집중할 수 있도록 어텐션 기반 RNN 디코더를 사용하여 단어 인식을 수행한다.
• 검출(분류 및 바운딩 박스 회귀)과 인식(교차 엔트로피 손실)을 위한 병합 손실 함수를 사용하여 전체 네트워크를 종단 간으로 훈련시킨다.
• 먼저 큰 어휘집과 단순 배경을 가진 합성 데이터에서 훈련하고, 이후에 복잡한 합성 및 실제 세계 이미지에서 미세 조정함으로써 커리큘럼 학습 전략을 적용한다.
• 검출 및 인식 헤드 간에 컨볼루션 특징을 공유하여 계산 비용을 감소시키고 특징 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 종단 간 훈련을 통해 통합 네트워크가 텍스트 검출과 인식을 동시에 최적화할 수 있는가? 이는 순차적 파이프라인 대비 성능 향상을 이끌 수 있는가?
• RQ2 종횡비 다양성을 고려한 변형 크기의 RoI 풀링 메커니즘이 고정 크기 풀링보다 텍스트 인식을 위한 분류 특징을 더 잘 유지하는가?
• RQ3 합성 데이터에서 실제 세계 데이터로 점진적으로 훈련하는 커리큘럼 학습 전략이 모델의 일반화 능력과 수렴 성능을 향상시키는가?
• RQ4 검출과 인식 간에 컨볼루션 특징을 공유함으로써 계산 비용과 오류 누적가 얼마나 감소하는가?
• RQ5 제안된 방법은 ICDAR2011 및 ICDAR2015와 같은 표준 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법인 "Ours Atten+Vary"는 ICDAR2011에서 평균 정밀도(mAP) 89.2%와 ICDAR2015에서 85.1%를 기록하여 이전 최고 성능 방법을 초월한다.
• 3개의 입력 스케일만 사용할 때 평균적으로 TextBoxes보다 1.5% 높은 리콜을 달성하며, TextBoxes는 5개의 스케일이 필요함을 고려하면 더 높은 효율성과 정확도를 입증한다.
• 변형 크기의 풀링 전략은 긴 단어(예: 고정 크기 풀링 대비 35파트 대비 20파트)에 대해 더 많은 공간적 세부 정보를 유지하여 인식 성능 향상에 기여한다.
• 공유된 특징을 사용한 종단 간 훈련은 더 정보가 풍부한 특징을 생성하여 검출 및 인식 성능 향상에 기여한다.
• 바운딩 박스가 단어를 완전히 포함하지 않더라도 모델이 단어를 성공적으로 인식함으로써, 합성 데이터에서 문자 수준의 언어 모델을 효과적으로 학습한 것으로 나타난다.
• M40 GPU에서 600×800 이미지당 추론 속도는 약 0.9초이며, 이는 이중 단계 기반 기준에서 인식에 0.45초가 소요됨을 고려하면 통합 접근의 효율성을 입증한다.