[논문 리뷰] ICDAR 2019 Competition on Large-scale Street View Text with Partial Labeling -- RRC-LSVT

Yipeng Sun, Zihan Ni외 10명|arXiv (Cornell University)|2019. 09. 17.

Handwritten Text Recognition Techniques참고 문헌 30인용 수 12

한 줄 요약

이 논문은 ICDAR 2019-LSVT 경쟁 대회를 제시하며, 현재까지 가장 큰 스트리트 뷰 이미지 데이터셋—50,000개의 완전히 애너테이션된 샘플과 400,000개의 약한 애너테이션된 샘플을 포함한 450,000장의 스트리트 뷰 이미지—를 제공하여 텍스트 검출 및 엔드 투 엔드 스포팅에 활용한다. 이 도전 과제는 부분 레이블을 활용하여 모델의 강건성을 향상시키는 데 초점을 맞추며, 최고의 팀들은 고도로 발전된 아키텍처와 앙상블 기법을 통해 높은 성능을 달성하였다. 이는 약한 지도 학습이 실제 세계의 텍스트 이해에 있어 잠재력을 지닌다는 것을 시사한다.

ABSTRACT

Robust text reading from street view images provides valuable information for various applications. Performance improvement of existing methods in such a challenging scenario heavily relies on the amount of fully annotated training data, which is costly and in-efficient to obtain. To scale up the amount of training data while keeping the labeling procedure cost-effective, this competition introduces a new challenge on Large-scale Street View Text with Partial Labeling (LSVT), providing 50, 000 and 400, 000 images in full and weak annotations, respectively. This competition aims to explore the abilities of state-of-the-art methods to detect and recognize text instances from large-scale street view images, closing the gap between research benchmarks and real applications. During the competition period, a total of 41 teams participated in the two proposed tasks with 132 valid submissions, i.e., text detection and end-to-end text spotting. This paper includes dataset descriptions, task definitions, evaluation protocols and results summaries of the ICDAR 2019-LSVT challenge.

연구 동기 및 목표

• 대규모 스트리트 뷰 텍스트 데이터셋을 완전히 애너테이션하는 데 드는 높은 비용과 비효율성을 해결하기 위해 부분 애너테이션을 도입한다.
• 실제 세계의 응용 사례와 연구 벤치마크 사이의 격차를 메우기 위해 현실적이고 복잡한 스트리트 레벨의 이미지를 사용한다.
• 특히 검출 및 엔드 투 엔드 스포팅에 대해, 약한 지도 학습 하에 잘 일반화되는 강건한 모델 개발을 장려한다.
• 다양한 실제 세계의 과제—예를 들어 임의의 텍스트 형태, 낮은 대비, 가림 현상 등—을 포함한 대규모 벤치마크에서 최첨단 기법의 성능을 평가한다.
• 약한 지도 학습 기반의 스트리트 텍스트 이해 기술에 대한 혁신을 촉진하며, 대규모 약한 애너테이션 데이터를 효과적으로 활용하는 데 초점을 맞춘다.

제안 방법

• 중국 전역의 실제 도시 환경에서 450,000장의 스트리트 뷰 이미지를 수집하였으며, 이 중 30,000장은 완전히 애너테이션되었고, 400,000장은 약한 애너테이션되었다.
• 부분 레이블—각 이미지당 하나의 핵심 텍스트(예: 상점 이름)만 존재하며, 경계 상자 애너테이션이 없음—을 사용하여 레이블링 비용을 절감하였다.
• 두 가지 과제로 구성: 텍스트 검출(인스턴스 수준의 국소화) 및 엔드 투 엔드 텍스트 스포팅(검출 + 인식).
• 마스크 R-CNN에 ResNeXt, 변형 가능한 컨볼루션, PANet를 적용하여 장거리 및 굽은 텍스트의 검출 성능을 향상시켰다.
• CNN-BiLSTM/GRU와 CTC, 주목력 기반의 시퀀스 투 시퀀스 모델을 사용하여 엔드 투 엔드 인식을 수행하였으며, 성능 향상을 위해 모델 앙상블를 적용하였다.
• 공간 변환 네트워크(STN)와 정규화 모듈을 통합하여 비정상적인 텍스트 인스턴스에서의 인식 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 부분(약한) 애너테이션으로 훈련된 최첨단 모델이 대규모 실세계 스트리트 뷰 텍스트에서 얼마나 잘 성능을 내는가?
• RQ2 현재의 텍스트 검출 및 인식 모델이 임의의 형태와 낮은 대비 배경을 가진 복잡한 실세계 환경에서 겪는 주요 실패 원인은 무엇인가?
• RQ3 키워드 수준의 레이블만을 사용하는 약한 지도 학습이 완전히 지도 학습 기반의 베이스라인 대비 검출 및 인식 성능 향상에 얼마나 기여하는가?
• RQ4 모델 앙상블 및 아키텍처 개선(예: 변형 가능한 컨볼루션, 주목력 메커니즘)이 도전적인 텍스트 인스턴스를 처리하는 데 얼마나 효과적인가?
• RQ5 특히 부분적인 가림이나 낮은 대비 상황에서, 인식 모듈의 피드백이 검출 성능 향상에 기여하는가?

주요 결과

• Tencent-DPPR 팀은 강화된 백본과 모델 앙상블를 활용하여 텍스트 검출에서 가장 높은 H-mean, 정밀도, 재현율을 기록하였다.
• HUST 팀은 재현율에서 두 번째로 높은 성능을 기록하였으며, 공간 변환 네트워크(STN)를 통합한 정규화 모듈을 사용하여 인식의 강건성을 향상시켰다.
• 일반적인 검출 실패 사례로는 수직 텍스트 라인을 수평으로 잘못 그룹화하는 것이었으며, 이는 의미 정보를 활용한 더 나은 그룹화 전략이 필요함을 시사한다.
• 인식 모델은 낮은 대비 배경과 부분적인 가림에 취약하여, 시각적 열화에 대한 더 나은 불변성 확보가 필요함을 확인하였다.
• 이중 단계 파이프라인(검출 + 인식)은 효과적이었지만, 모듈 간 상호보완적 관계를 충분히 활용하지 못했으며, 공동 최적화 방식의 이점이 있음을 시사한다.
• 이 데이터셋의 규모—이전의 벤치마크보다 14배 큰 규모—는 강건하고 일반화 능력이 뛰어난 실세계 데이터 기반 모델 훈련에 있어 그 가치를 입증하였다.