[논문 리뷰] Open Images V5 Text Annotation and Yet Another Mask Text Spotter

Ilya Krylov, S. K. Nosov외 1명|arXiv (Cornell University)|2021. 06. 23.

Handwritten Text Recognition Techniques참고 문헌 18인용 수 8

한 줄 요약

이 논문은 Open Images V5용으로 가장 큰 공개된 인간 레이블이 부여된 텍스트 데이터셋을 소개하며, 장면 텍스트 인스턴스의 정밀한 국소화 및 전사 기능을 제공한다. 이 데이터셋을 사용하여 저자들은 간단한 Mask-RCNN 기반 모델인 Yet Another Mask Text Spotter (YAMTS)를 훈련시켰으며, ICDAR 2013, ICDAR 2015, Total-Text 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하였다. 특히 파인튜닝 이후 Total-Text에서 74.5%의 엔드 투 엔드 인식률을 기록하였다.

ABSTRACT

A large scale human-labeled dataset plays an important role in creating high quality deep learning models. In this paper we present text annotation for Open Images V5 dataset. To our knowledge it is the largest among publicly available manually created text annotations. Having this annotation we trained a simple Mask-RCNN-based network, referred as Yet Another Mask Text Spotter (YAMTS), which achieves competitive performance or even outperforms current state-of-the-art approaches in some cases on ICDAR2013, ICDAR2015 and Total-Text datasets. Code for text spotting model available online at: https://github.com/openvinotoolkit/training_extensions. The model can be exported to OpenVINO-format and run on Intel CPUs.

연구 동기 및 목표

• Open Images V5용으로 가장 큰 공개된 수동 레이블이 부여된 텍스트 데이터셋을 구축하고 배포하여, 장면 텍스트 스포팅 모델의 향상된 훈련을 가능하게 한다.
• 복잡한 아키텍처 수정 없이도 경쟁적인 성능을 내는 단순하지만 효과적인 Mask-RCNN 기반 모델(YAMTS)을 개발하여 엔드 투 엔드 텍스트 스포팅을 구현한다.
• 새로 배포된 Open Images V5 텍스트 레이블링 데이터셋을 사용해 훈련하면 표준 벤치마크에서 모델의 일반화 능력과 성능 향상에 크게 기여함을 입증한다.
• OpenVINO™ 형식으로 내보내어 Intel CPU에서 효율적인 추론이 가능한 모델 배포를 가능하게 한다.

제안 방법

• 저자들은 Open Images V5에서 유의미한 경계 다각형과 텍스트 전사를 포함한 텍스트 인스턴스의 대규모 수동 레이블이 부여된 데이터셋을 수집하고 배포하였다.
• 표준 훈련 절차를 사용하여 텍스트 인식 헤드를 추가한 Mask-RCNN 아키텍처를 훈련시켰으며, 특수 모듈이나 데이터 증강 기법을 사용하지 않았다.
• 모든 레이어를 동결한 상태에서 텍스트 인식 헤드만 파인튜닝하여 130만 반복 동안 최적화함으로써 인식 정확도를 향상시켰다.
• OpenVINO™ 형식으로 내보내어 Intel CPU에서 효율적인 추론이 가능한 모델 추론을 구현하였다.
• 표준 메트릭(단어 스포팅 및 다양한 어휘집을 사용한 엔드 투 엔드 인식)을 사용하여 ICDAR 2013, ICDAR 2015, Total-Text, Open Images V5 검증 세트에서 성능을 평가하였다.
• 제거 실험을 통해 Open Images V5 텍스트 레이블링 데이터셋의 기여도를 분리하여 분석하였다.

실험 결과

연구 질문

• RQ1 Open Images V5처럼 대규모이고 고품질의 수동 레이블이 부여된 장면 텍스트 데이터셋을 사용해 표준 Mask-RCNN 기반 텍스트 스포팅 모델을 훈련시키면 성능에 어떤 영향을 미치는가?
• RQ2 특수 모듈이나 아키텍처 복잡성 없이도 표준 텍스트 인식 헤드를 갖춘 단순한 Mask-RCNN 기반 아키텍처가 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 모든 레이어를 동결한 상태에서 텍스트 인식 헤드만 파인튜닝하면, 특히 굴곡진 텍스트나 다중 방향 텍스트에서 정확도 향상에 어느 정도 기여하는가?
• RQ4 Open Images V5 텍스트 레이블링 데이터셋의 포함 여부가, Total-Text나 ICDAR 2015와 같이 미리 보지 못한 데이터셋에서의 성능을 통해 측정된 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• YAMTS는 일반 어휘집과 1280x768 입력 해상도를 사용하여 ICDAR 2015에서 74.1%의 엔드 투 엔드 인식률을 기록했으며, 이는 여러 이전 방법들을 능가하는 성능이다.
• 기타 레이어를 동결한 상태에서 텍스트 인식 헤드만 파인튜닝한 결과, YAMTS는 Total-Text에서 74.5%의 엔드 투 엔드 인식률을 달성하여, 더 큰 TextOCR 데이터셋으로 파인튜닝된 Mask TextSpotter v3와 동등한 성능을 보였다.
• 파인튜닝 없이도 YAMTS는 굴곡진 텍스트와 다중 방향 텍스트에서 73.7%의 엔드 투 엔드 인식률을 기록하여 강력한 베이스라인 성능을 입증했다.
• 제거 실험 결과, Open Images V5 텍스트 레이블링 데이터셋을 제외하면 성능에 심각한 하락이 발생하여, 이 데이터셋이 모델 일반화에 결정적인 역할을 한다는 점을 확인했다.
• Open Images V5 검증 세트에서 YAMTS는 1600x960 입력 해상도로 56.3%의 엔드 투 엔드 인식률을 기록하여 원본 데이터셋에 대한 강력한 제로샷 일반화 능력을 보였다.
• 결과적으로 고품질의 대규모 수동 레이블이 부여된 데이터는 단순하고 표준적인 아키텍처를 사용하더라도 모델 성능 향상에 크게 기여할 수 있음을 입증했다.