[논문 리뷰] Convolutional Character Networks

Linjie Xing, Zhi Tian외 2명|arXiv (Cornell University)|2019. 10. 17.

Handwritten Text Recognition Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 텍스트 인스턴스를 검출하고 문자를 직접 인식하는 일괄 처리(one-stage) 엔드 투 엔드 컨볼루션 신경망인 CharNet을 제안한다. 이는 단어가 아닌 문자를 기본 단위로 사용하여 한 번의 순방향 전파로 동시에 텍스트 검출과 문자 인식을 수행한다. RNN 기반의 인식 방식을 경량화된 CNN 브랜치로 대체하고, 도메인 일반화를 위해 반복적 문자 검출 기법을 도입함으로써, ICDAR 2015와 Total-Text에서 최신 기준(SOTA) 성능을 달성하였으며, 일반화된 어휘집을 사용할 경우 엔드 투 엔드 인식 F-측도를 각각 71.08%와 69.23%로 향상시켰다.

ABSTRACT

Recent progress has been made on developing a unified framework for joint text detection and recognition in natural images, but existing joint models were mostly built on two-stage framework by involving ROI pooling, which can degrade the performance on recognition task. In this work, we propose convolutional character networks, referred as CharNet, which is an one-stage model that can process two tasks simultaneously in one pass. CharNet directly outputs bounding boxes of words and characters, with corresponding character labels. We utilize character as basic element, allowing us to overcome the main difficulty of existing approaches that attempted to optimize text detection jointly with a RNN-based recognition branch. In addition, we develop an iterative character detection approach able to transform the ability of character detection learned from synthetic data to real-world images. These technical improvements result in a simple, compact, yet powerful one-stage model that works reliably on multi-orientation and curved text. We evaluate CharNet on three standard benchmarks, where it consistently outperforms the state-of-the-art approaches [25, 24] by a large margin, e.g., with improvements of 65.33%->71.08% (with generic lexicon) on ICDAR 2015, and 54.0%->69.23% on Total-Text, on end-to-end text recognition. Code is available at: https://github.com/MalongTech/research-charnet.

연구 동기 및 목표

• 두 단계 프레임워크의 한계, 특히 ROI 풀링과 RNN 기반 인식으로 인한 성능 저하 문제를 해결하기 위해.
• 두 단계 모델에서 RNN 기반 인식과 검출을 동시에 최적화하는 데 어려움이 있으며, 복잡한 훈련 방식과 방대한 데이터가 필요하다는 점을 해결하기 위해.
• 단일한 일괄 처리 아키텍처를 개발하여, 단어 및 문자의 바운딩 박스와 해당 레이블을 직접 출력함으로써 훈련 효율성과 성능을 향상시키기 위해.
• 반복적 검출 전략을 통해 합성 이미지에서 실세계 이미지로의 문자 검출 전이를 효과적으로 수행함으로써, 굴곡지거나 다중 방향의 텍스트에 대한 강건성을 향상시키기 위해.
• 어휘집에 의존하지 않고도 신뢰할 수 있는 성능을 내는 컴act하고 경량의 모델을 개발하여 실세계 적용에 적합하게 만들기 위해.

제안 방법

• 한 번의 순방향 전파로 텍스트 인스턴스 검출과 문자 인식을 동시에 수행하는 일괄 처리 완전 컨볼루션 신경망(ChaNet)을 제안한다.
• RNN 대신 경량 CNN을 사용하는 문자 수준의 인식 브랜치를 도입함으로써 훈련을 단순화하고 모델 복잡도를 감소시킨다.
• 문자를 기본 검출 및 인식 단위로 사용함으로써, 중국어와 같은 언어 간의 일반화 능력 향상과 굴곡지거나 다중 방향의 텍스트에서의 성능 향상을 달성한다.
• 합성 데이터에서 실세계 이미지로의 지식 전이를 위해 반복적 문자 검출 전략을 적용함으로써 도메인 일반화 능력을 향상시킨다.
• 다중 해상도 추론을 적용하여 검출 및 인식 정확도를 향상시키며, 특히 도전적인 텍스트 인스턴스에서 유리하다.
• 표준 텍스트 검출 프레임워크(예: ResNet 또는 Hourglass 백본 기반)에 문자 인식 브랜치를 원활하게 통합하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 두 단계 RNN 통합 프레임워크에 비해, 일괄 처리 CNN 기반 모델이 엔드 투 엔드 텍스트 검출 및 인식에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 단어가 아닌 문자를 기본 단위로 사용할 경우, 특히 중국어나 굴곡지거나 다중 방향의 텍스트에서 더 나은 일반화 성능를 달성할 수 있는가?
• RQ3 검출과 함께 공동 훈련하는 데서 RNN 대비 경량 CNN 기반 문자 인식 브랜치가 성능을 뛰어나게 하고 복잡도를 감소시킬 수 있는가?
• RQ4 반복 보정 전략을 사용할 경우, 합성 데이터에서 훈련된 문자 검출 모델이 실세계 이미지로 효과적으로 전이될 수 있는가?
• RQ5 굴곡지거나 다중 방향의 텍스트를 포함한 도전적인 벤치마크에서, 제안된 방법이 최신 기준 기술 대비 어떻게 성능을 내는가?

주요 결과

• ICDAR 2015에서 일반화된 어휘집을 사용할 경우, 엔드 투 엔드 인식 F-측도 71.08%를 달성하여 이전 연구의 65.33%에서 향상되었으며, 새로운 최고 기록을 수립했다.
• Total-Text에서 엔드 투 엔드 인식 F-측도 69.23%를 기록하여 이전 최고 성능 방법 대비 15.2% 향상되었으며, 굴곡지거나 다중 방향의 텍스트에서 뛰어난 성능을 입증했다.
• Hourglass-88 백본과 다중 해상도 추론을 사용할 경우, ICDAR 2015에서 단일 해상도 최고 기록을 수립하였으며, Mask TextSpotter와 FOTS 모두를 모든 평가 항목에서 능가했다.
• 어휘집 없이도 엔드 투 엔드 인식 F-측도 60.72%를 달성하여, 일반화된 어휘집을 사용한 FOTS와 유사한 성능을 보였으며, 강력한 제로샷 일반화 능력을 입증했다.
• 동일한 백본(Hourglass-57)을 사용할 경우, CharNet는 FOTS보다 ICDAR 2015에서 6.12% 높은 성능을 기록하였으며, 인식 브랜치의 파rameter 수가 1.19M에 불과한 데 반해 FOTS는 6.31M를 차지함으로써 모델 복잡도를 크게 감소시켰다.
• 다중 해상도 추론을 적용했을 때, ICDAR 2017 MLT에서 텍스트 검출 F-측도 86.5%를 기록하여 이전 최고 기록 방법을 크게 앞서며 뚜렷한 성능 우위를 확보했다.