[논문 리뷰] NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition

Fenfen Sheng, Zhineng Chen외 1명|arXiv (Cornell University)|2018. 06. 04.

Handwritten Text Recognition Techniques참고 문헌 39인용 수 19

한 줄 요약

NRTR는 인코더와 디코더 양쪽 모두에서 RNN과 CNN 대신 자기주의 메커니즘을 사용하는 순차적-순차적 장면 텍스트 인식기로, 더 빠른 훈련과 경쟁 가능한 정확도를 가능하게 한다. 전체 병렬 처리와 2D에서 1D로의 특징 매핑을 위한 새로운 모odal 전환 블록 덕분에 기존 모델 대비 최소 8배 빠른 훈련 속도를 기록하며 표준 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Scene text recognition has attracted a great many researches due to its importance to various applications. Existing methods mainly adopt recurrence or convolution based networks. Though have obtained good performance, these methods still suffer from two limitations: slow training speed due to the internal recurrence of RNNs, and high complexity due to stacked convolutional layers for long-term feature extraction. This paper, for the first time, proposes a no-recurrence sequence-to-sequence text recognizer, named NRTR, that dispenses with recurrences and convolutions entirely. NRTR follows the encoder-decoder paradigm, where the encoder uses stacked self-attention to extract image features, and the decoder applies stacked self-attention to recognize texts based on encoder output. NRTR relies solely on self-attention mechanism thus could be trained with more parallelization and less complexity. Considering scene image has large variation in text and background, we further design a modality-transform block to effectively transform 2D input images to 1D sequences, combined with the encoder to extract more discriminative features. NRTR achieves state-of-the-art or highly competitive performance on both regular and irregular benchmarks, while requires only a small fraction of training time compared to the best model from the literature (at least 8 times faster).

연구 동기 및 목표

• 순차적 계산으로 인해 느린 RNN 기반 장면 텍스트 인식기의 훈련 속도 문제를 해결하기 위해.
• CNN 기반 모델의 높은 복잡도와 장거리 의존성 학습의 제한을 극복하기 위해.
• 순환성과 컨볼루션을 완전히 제거한 순차적-순차적 프레임워크를 제안하여 자기주의에 의존함으로써 더 나은 병렬 처리를 가능하게 하기 위해.
• 2D 장면 이미지를 1D 시퀀스로 효과적으로 변환하여 특징 추출을 향상시키기 위한 모달 전환 블록을 설계하기 위해.
• 일반적이고 비정규적인 장면 텍스트 벤치마크에서 모두 최고 수준의 정확도를 달성하면서도 훈련 시간을 크게 단축시키기 위해.

제안 방법

• NRTR는 인코더와 디코더 양쪽 모두에서 RNN이나 CNN 대신 스택된 자기주의 메커니즘을 사용하는 인코더-디코더 아키텍처를 채택한다.
• 인코더는 다중 헤드 자기주의를 통해 평탄화된 이미지 패치를 처리하여 맥락화된 특징 표현을 생성한다.
• 디코더는 이전에 생성된 토큰에만 주목할 수 있도록 마스크된 자기주의를 사용하여 자동적으로 문자 시퀀스를 생성한다.
• 인코더 이전에 2D 입력 이미지를 1D 시퀀스로 변환하기 위해 새로운 모달 전환 블록을 도입하여 특징의 구별 능력을 향상시킨다.
• 어떤 정규화나 어휘 제약 없이 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 자기주의는 모든 입력 및 출력 위치 간의 전역적 의존성을 동시에 모델링할 수 있게 하여 RNN 및 CNN 대비 계산 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 자기주의에 의존하는 순차적-순차적 장면 텍스트 인식기에서 순환성과 컨볼루션을 완전히 제거할 수 있는가?
• RQ2 자기주의 기반 특징 학습은 RNN 및 CNN 대비 장면 텍스트 인식에서 정확도와 훈련 속도 측면에서 어떻게 비교되는가?
• RQ3 모달 전환 블록은 장면 텍스트 인식에서 2D 이미지 입력과 1D 시퀀스 모델링 간 격차를 효과적으로 메울 수 있는가?
• RQ4 순환성이 없는 모델은 비정규적이고 도전적인 장면 텍스트 이미지에서도 강건성을 유지하는가?
• RQ5 자기주의 기반 장면 텍스트 인식에서 모델 복잡도, 훈련 속도, 인식 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• NRTR는 IIIT5K에서 99.2%, SVT에서 98.4%, ICDAR2013에서 98.9%의 최고 수준의 정확도를 달성하며, 어휘나 정규화 모듈을 사용하지 않았다.
• 비정규적 벤치마크에서는 SVT-P에서 94.9%, ICDAR2015에서 86.6%, CUTE80에서 80.9%의 성능을 기록하며, 어휘 없는 설정에서 기존 방법을 모두 능가했다.
• 단일 Titan X GPU에서 NRTR는 에포크당 5.0시간으로 훈련되며, 이는 기존 최고 성능 모델(Bai et al. [1])의 41시간 대비 최소 8배 빠른 속도이다.
• 인퍼런스 속도는 이미지당 약 0.03초로, Bai et al. [1]의 0.11초 및 Shi et al. [6]의 0.2초보다 빠르게 구현되었다.
• 모달 전환 블록은 성능 향상에 핵심적인 역할을 하며, 효과적인 2D에서 1D로의 변환을 통해 특징 표현과 모델 정확도를 향상시킨다.
• 저해상도, 굽은 선, 부분 가림 등 도전적인 경우에도 NRTR는 강력한 일반화 능력을 보이며, 주로 심한 가림이나 시각적 모호성으로 인한 실패 모드를 보인다.