[논문 리뷰] ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT)

Chee-Kheng Chng, Yuliang Liu외 12명|arXiv (Cornell University)|2019. 09. 16.

Handwritten Text Recognition Techniques참고 문헌 13인용 수 30

한 줄 요약

이 논문은 곡선 및 비정형 형태의 텍스트 검출, 인식, 스포팅을 다루기 위해 Total-Text, SCUT-CTW1500 및 Baidu에서 수집한 신규 데이터셋을 조합한 대규모 벤치마크인 ICDAR2019 RRC-ArT를 제시한다. 이 도전 대회에서는 검출에 대해 82.65%, 인식에 대해 85.32%, 텍스트 스포팅에 대해 54.91%의 최고 점수를 기록하여, 비정형 텍스트를 다룰 때 분할 기반 검출 및 주의 기반 인식 모델의 우월성을 입증한다.

ABSTRACT

This paper reports the ICDAR2019 Robust Reading Challenge on Arbitrary-Shaped Text (RRC-ArT) that consists of three major challenges: i) scene text detection, ii) scene text recognition, and iii) scene text spotting. A total of 78 submissions from 46 unique teams/individuals were received for this competition. The top performing score of each challenge is as follows: i) T1 - 82.65%, ii) T2.1 - 74.3%, iii) T2.2 - 85.32%, iv) T3.1 - 53.86%, and v) T3.2 - 54.91%. Apart from the results, this paper also details the ArT dataset, tasks description, evaluation metrics and participants methods. The dataset, the evaluation kit as well as the results are publicly available at https://rrc.cvc.uab.es/?ch=14

연구 동기 및 목표

• 장면 독해에서 비정형 텍스트, 특히 곡선 및 비정형으로 배치된 텍스트에 대한 종합적인 벤치마크 부족 문제를 해결하기 위해.
• 수평 또는 다중 방향 선형 텍스트를 초월한 다양한 형태의 텍스트를 검출, 인식, 스포팅할 수 있는 강력한 모델 개발을 연구 공동체에 도전하기 위해.
• Total-Text 및 SCUT-CTW1500와 같은 기존 데이터셋을 새로운 고다양성 이미지와 결합하여 더 크고 더 대표성이 높은 벤치마크로 확장하기 위해.
• 실제 환경 조건에서 검출, 인식, 종단 간 스포팅의 세 가지 과제에 대해 최첨단 방법을 평가하고 비교하기 위해.
• IoU와 같은 기존 평가 지표의 한계를 밝히고, 향후 작업에서 TIoU와 같은 개선된 지표의 필요성을 주장하기 위해.

제안 방법

• ArT 데이터셋은 Total-Text, SCUT-CTW1500 및 Baidu에서 수집한 신규 데이터셋을 조합한 것으로, 카메라, 인터넷, 스트리트 뷰에서 촬영한 이미지를 포함하여 텍스트 형태와 방향의 고다양성을 강조한다.
• 모든 텍스트 인스턴스는 조임형 다각형 지상 진실값으로 레이블링되어 있어 곡선 및 비정형 텍스트 영역을 정확하게 모델링할 수 있다.
• 검출은 기존의 회귀 기반 접근 방식보다 복잡한 텍스트 형태를 더 잘 포착할 수 있는 분할 기반 모델을 사용한다.
• 인식은 정규화 후 주의 기반 RNN/LSTM 모듈을 적용하여 비정형 왜곡된 텍스트 패치를 처리한다.
• 텍스트 스포팅은 IoU 기반 매칭을 통해 검출과 인식을 통합하며, 인식 결과는 1-N.E.D. 및 H-mean 지표로 평가된다.
• 평가 프레임워크는 다단계 파이프라인을 사용한다: 먼저 검출을 수행하고, 지상 진실값과 매칭한 후, Task 2와 동일한 전처리를 적용한 후 인식을 수행한다.

실험 결과

연구 질문

• RQ1 현재 모델은 곡선 및 비정형으로 기울여진 인스턴스를 포함한 비정형 텍스트 검출에 얼마나 잘 수행되는가?
• RQ2 분할 기반 검출과 회귀 기반 검출 간의 비정형 텍스트 검출 정확도에 미치는 영향은 무엇인가?
• RQ3 주의 기반 인식 모델은 심각하게 왜곡되거나 곡선으로 뻣뻣하게 휘어진 텍스트 패치를 다룰 때 얼마나 효과적인가?
• RQ4 종단 간 텍스트 스포팅에서 주요 실패 원인은 무엇이며, 이는 검출 및 인식 오류와 어떻게 관련되는가?
• RQ5 현재 사용 중인 평가 지표인 IoU가 인간의 검출 품질 인식을 충분히 반영하지 못하는 정도는 어느 정도이며, 어떤 개선이 필요한가?

주요 결과

• 최고의 검출 점수는 82.65%의 F-측정값을 기록하여 비정형 텍스트에 대한 뛰어난 성능를 보였으며, 분할 기반 모델이 상위 제출물에서 지배적이다.
• 최고의 인식 모델은 T2.2 서브태스크에서 85.32%의 정확도를 달성하여 정규화 및 주의 기반 인식 파이프라인의 높은 효과성을 입증했다.
• 최고의 텍스트 스포팅 방법은 Task 3.2에서 1-N.E.D. 점수 54.91%를 기록했으며, 평균 H-mean은 44.37%였으며, 이는 과제의 어려움을 보여준다.
• 텍스트 스포팅에서 우승한 방법은 분할 기반 검출기와 주의 기반 인식기(5,435개 클래스)를 사용했으며, LSVT, ICDAR2017 및 COCO-Text를 포함한 다양한 데이터로 훈련되었다.
• 스포팅에서의 실패 케이스는 주로 조밀하거나 겹치는 텍스트 영역에서의 가짜 양성 결과에서 기인하며, 특히 중국어 텍스트가 포함된 경우 더욱 두드러져 언어 인식 모델링의 필요성을 시사한다.
• IoU 지표는 부족함이 발견되었으며, 다수의 문자를 누락한 검출도 여전히 100% 재현율을 기록할 수 있어 TIoU와 같은 개선된 지표가 필요함을 시사한다.