[논문 리뷰] What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis

Jeonghun Baek, Geewook Kim외 6명|arXiv (Cornell University)|2019. 04. 03.

Handwritten Text Recognition Techniques참고 문헌 30인용 수 74

한 줄 요약

본 논문은 STR 학습/평가 데이터셋의 불일치를 밝히고, 통일된 네 단계 프레임워크를 제안하며, 단일 데이터셋 구성에서 모듈 기여를 분석하여 STR 모델 간 공정한 비교를 가능하게 한다.

ABSTRACT

Many new proposals for scene text recognition (STR) models have been introduced in recent years. While each claim to have pushed the boundary of the technology, a holistic and fair comparison has been largely missing in the field due to the inconsistent choices of training and evaluation datasets. This paper addresses this difficulty with three major contributions. First, we examine the inconsistencies of training and evaluation datasets, and the performance gap results from inconsistencies. Second, we introduce a unified four-stage STR framework that most existing STR models fit into. Using this framework allows for the extensive evaluation of previously proposed STR modules and the discovery of previously unexplored module combinations. Third, we analyze the module-wise contributions to performance in terms of accuracy, speed, and memory demand, under one consistent set of training and evaluation datasets. Such analyses clean up the hindrance on the current comparisons to understand the performance gain of the existing modules.

연구 동기 및 목표

• 장면 문자 인식(STR)에 사용되는 학습 및 평가 데이터셋의 불일치를 식별한다.
• 모듈 분석을 표준화하기 위한 통일된 네 단계 STR 프레임워크를 제안한다.
• 공통 데이터셋 구성하에서 정확도, 속도, 메모리 측면에서 모듈별 기여를 평가한다.
• 공정한 비교 관행에 대한 지침을 제공하고 STR의 남은 도전과제를 강조한다.

제안 방법

• Transformation, Feature extraction, Sequence modeling, and Prediction의 네 단계 STR 프레임워크를 도입한다.
• 각 단계 내에서 모듈 변형(TPS, VGG/RCNN/ResNet, BiLSTM, CTC/Attn) 비교를 가능하게 한다.
• 학습 데이터를 MJ합치(MJSynth)와 SynthText의 합집합으로 고정하고, 평가 데이터는 통일된 리얼 데이터 세트에서 수행한다.
• 통합된 데이터셋 하에서 24개의 모듈 조합을 무차별 대입으로 비교하고 정확도, 속도, 메모리를 계산한다.
• 다른 학습 데이터 혼합(MJ, ST, 둘 다)으로 ablation을 통해 데이터셋의 효과를 분석한다.
• 실패 사례와 질적 분석을 보고하여 남은 도전과제를 식별한다.

실험 결과

연구 질문

• RQ1 STR 학습/평가 데이터셋의 불일치가 보고된 성능에 어떤 영향을 미치는가?
• RQ2 통합된 네 단계 프레임워크 내에서 STR 모듈을 결합하는 것이 정확도, 속도, 메모리에 어떤 영향을 주는가?
• RQ3 일관된 데이터셋 하에서 어떤 모듈 선택이 최적의 트레이드오프를 제공하며 남은 도전 과제는 무엇인가?
• RQ4 고정된 평가 프로토콜 하에서 학습 데이터 선택(MJ, ST, 또는 둘 다)이 STR 성능에 어떤 영향을 주는가?

주요 결과

• 불일치하는 데이터셋은 성능 격차를 크게 유발하여 STR 방법 간 공정한 모델 비교를 방해한다.
• 통일된 학습 세트(MJ+ST)를 사용하는 것이 각 데이터셋 단독 사용보다 정확도를 더 높이며, 결합 시 84.1%로, MJ 80.0% 또는 ST 75.6%보다 높다.
• 구조화된 4단계 프레임워크는 모듈 조합의 체계적 탐색을 가능하게 하여 정확도와 속도 또는 메모리 간의 균형을 이룬 프런티어 조합을 드러낸다.
• 특정 모듈(예: ResNet, BiLSTM, TPS, Attn)이 정확도를 점진적으로 향상시키지만 속도와 메모리에 서로 다르게 영향을 미쳐 실용적 트레이드오프를 위한 명확한 프런티어를 설정한다.
• 분석에 의하면 불규칙한 데이터셋은 모듈 업그레이드로 얻는 정확도 향상이 규칙적 데이터셋에 비해 약 두 배 정도 크며, 결과에 미치는 데이터셋 영향력을 강조한다.