[논문 리뷰] Improving Text Proposals for Scene Images with Fully Convolutional Networks

Dena Bazazian, Raúl Gómez외 4명|arXiv (Cornell University)|2017. 02. 16.

Handwritten Text Recognition Techniques참고 문헌 11인용 수 20

한 줄 요약

이 논문은 텍스트 프로포절 알고리즘으로 생성된 프로포절을 재정렬하기 위해 완전 컨volution 네트워크(FCNs)를 통합하여 스트리트 이미지 내 텍스트 프로포절 품질을 향상시키는 새로운 방법을 제안한다. FCN 예측 텍스트 확률 히트맵과 텍스트 블록 그룹화 품질 점수를 활용한 억제 전략을 결합함으로써, ICDAR 및 COCO-Text 벤치마크에서 유의미하게 적은 프로포절 수로 최신 기술 수준의 재현율을 달성한다. 이는 뛰어난 성능을 입증한다.

ABSTRACT

Text Proposals have emerged as a class-dependent version of object proposals - efficient approaches to reduce the search space of possible text object locations in an image. Combined with strong word classifiers, text proposals currently yield top state of the art results in end-to-end scene text recognition. In this paper we propose an improvement over the original Text Proposals algorithm of Gomez and Karatzas (2016), combining it with Fully Convolutional Networks to improve the ranking of proposals. Results on the ICDAR RRC and the COCO-text datasets show superior performance over current state-of-the-art.

연구 동기 및 목표

• 스트리트 이미지 내 텍스트 프로포절의 순위를 향상시켜 오진 양성률을 감소시키면서도 높은 재현율을 유지하는 것.
• 원래 텍스트 프로포절 방법의 한계를 해결하는 것 — 높은 재현율을 달성하나 많은 오진 양성률을 유발함.
• 완전 컨volution 네트워크(FCNs)의 공간적으로 유지된 특징을 활용해 더 정확한 텍스트 영역 점수를 산정하는 것.
• FCN 기반 텍스트 확률 점수와 텍스트 프로포절의 그룹화 품질 점수를 통합하여 프로포절 순위를 향상시키는 것.
• 실제 및 합성 데이터 세트에서 다양한 순위 매기기 및 억제 전략의 효과를 평가하는 것.

제안 방법

• 완전 컨volution 네트워크(FCN)를 훈련시어 각 픽셀의 텍스트 확률을 예측하게 하여 텍스트 영역의粗다각형 히트맵을 생성한다.
• 텍스트 프로포절 알고리즘으로 생성된 프로포절을 각 프로포절 내 평균 텍스트 확률 기반으로 FCN 히트맵을 사용해 재정렬한다.
• 억제 전략은 FCN의 텍스트 확률과 원래 텍스트 프로포절의 그룹화 품질 점수를 결합하여 순위를 개선한다.
• 억제 임계값은 실험적으로 최적화되었으며, ICDAR 및 COCO-Text 데이터셋에서 0.10이 가장 뛰어난 성능을 보였다.
• 일반화 능력을 평가하기 위해 다양한 훈련 데이터 소스(COCO-Text, ICDAR, SYNTH)를 평가하였고, 성능 차이가 미미한 것으로 나타났다.
• 최종 순위 매기기 전략은 FCN 신뢰도와 그룹화 품질 점수의 가중 조합을 사용하여 전체 텍스트 블록 크기에 맞는 프로포절을 우선순위로 정한다.

실험 결과

연구 질문

• RQ1 FCN 예측 텍스트 확률 히트맵은 텍스트 프로포절 알고리즘으로 생성된 프로포절의 순위 향상에 기여하는가?
• RQ2 FCN 점수와 그룹화 품질 점수를 결합할 경우 프로포절의 재현율과 정밀도에 어떤 영향을 미치는가?
• RQ3 프로포절 순위 매기기에서 FCN 신뢰도와 그룹화 품질을 융합할 때 최적의 억제 임계값은 무엇인가?
• RQ4 실제 또는 합성 데이터로 FCN를 훈련시킬 경우 텍스트 프로포절 순위 매기기에서 더 나은 일반화 성능을 얻을 수 있는가?
• RQ5 기본 텍스트 프로포절 및 최신 기술 수준의 접근법과 비교하여 제안된 방법은 표준 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• 0.10의 임계값을 가진 억제 전략은 모든 데이터셋과 프로포절 수에서 가장 높은 탐지율을 달성했다.
• ICDAR-Challenge4에서 억제 전략(SUP_COCO 0.10)은 1000개의 프로포절에서 85%의 탐지율을 기록했으며, 기준값(77%)과 MTP 전략을 모두 초월했다.
• COCO-Text에서 억제 전략은 1000개의 프로포절에서 78%의 탐지율을 기록했으며, 기준값(63%)과 MTP 전략을 뛰어넘었다.
• 평균 텍스트 확률 순위 매기기 전략(MTP)은 기준값보다 뚜렷이 열등했으며, 전체 텍스트 블록보다 작은 텍스트 조각을 선호했다.
• COCO-Text 데이터로 훈련한 FCN 모델이 가장 우수한 성능을 보였으며, ICDAR나 SYNTH 데이터로 훈련했을 때도 성능 차이가 미미했다.
• 정성적 결과는 다양한 유형의 텍스트 — 다국어, 수기 텍스트, 다양한 방향성과 길이를 가진 왜곡된 텍스트 — 을 탐지하는 데에 본 방법의 강건성을 확인시켰다.