[논문 리뷰] Towards Accurate Scene Text Recognition with Semantic Reasoning Networks

Deli Yu, Xuan Li외 4명|arXiv (Cornell University)|2020. 03. 27.

Handwritten Text Recognition Techniques참고 문헌 45인용 수 56

한 줄 요약

본 논문은 SRN(Semantic Reasoning Network)과 Global Semantic Reasoning Module(GSRM)을 도입하여 병렬 시각 특징과 전역 시맨틱 맥락을 융합해 엔드-투-엔드 장면 텍스트 인식에 사용하며, 다양한 벤치마크에서 최신 성능과 더 빠른 병렬 추론을 달성했다.

ABSTRACT

Scene text image contains two levels of contents: visual texture and semantic information. Although the previous scene text recognition methods have made great progress over the past few years, the research on mining semantic information to assist text recognition attracts less attention, only RNN-like structures are explored to implicitly model semantic information. However, we observe that RNN based methods have some obvious shortcomings, such as time-dependent decoding manner and one-way serial transmission of semantic context, which greatly limit the help of semantic information and the computation efficiency. To mitigate these limitations, we propose a novel end-to-end trainable framework named semantic reasoning network (SRN) for accurate scene text recognition, where a global semantic reasoning module (GSRM) is introduced to capture global semantic context through multi-way parallel transmission. The state-of-the-art results on 7 public benchmarks, including regular text, irregular text and non-Latin long text, verify the effectiveness and robustness of the proposed method. In addition, the speed of SRN has significant advantages over the RNN based methods, demonstrating its value in practical use.

연구 동기 및 목표

• 시맨틱 정보를 이용해 순수 시각적 특징만으로는 어려운 장면 텍스트 인식에 도움을 주려는 동기 부여.
• 전역 시맨틱 맥락을 병렬로 모델링하는 확장 가능하고 엔드-투-엔드로 학습 가능한 프레임워크 개발.
• 시각적-시맨틱 큐를 통합하기 위한 Paralle Visual Attention Module(PVAM)과 시각-시맨틱 융합 디코더(VSFD) 제안.
• 다양한 텍스트 벤치마크에서 효율성과 강건성을 입증하는 광범위한 실험.

제안 방법

• 전역 시각 맥락을 포착하기 위한 ResNet50+FPN 및 트랜스포머 유닛을 갖춘 백본.
• PVAM: Parallel Visual Attention Module로 목표 문자마다 N개의 정렬된 1-D 시각 특징을 병렬로 생성.
• 전역 시맨틱 추론 모듈(GSRM): 시각-시맨틱 임베딩 블록과 스택된 트랜스포머 유닛 기반의 시맨틱 추론 블록을 사용하여 시맨틱 특징 S를 생성.
• VSFD(Visual-Semantic Fusion Decoder): 게이트 유닛으로 시각 특징 G와 시맨틱 특징 S를 융합하여 최종 예측을 도출.
• 엔드-투-엔드 학습 가능 목표 함수: Loss = embedding loss (L_e) + reasoning loss (L_r) + final decoding loss (L_f).

실험 결과

연구 질문

• RQ1 글로벌하고 다방향의 시맨틱 추론이 단방향 또는 순차적 시맨틱 모델링을 넘어 장면 텍스트 인식을 향상시킬 수 있는가?
• RQ2 시각 정보와 시맨틱 정보를 병렬로 엔드-투-엔드 프레임워크에서 효과적으로 융합할 수 있는 방법은 무엇인가?
• RQ3 시각 특징에 대한 병렬 주의(attention)와 전역 시맨틱 추론이 추론 속도를 가속화하면서 정확도를 유지하는가?
• RQ4 Lexicon 없이 일반, 불규칙, 비라틴 장문 텍스트 벤치마크에서 SRN의 성능은 어떤가?
• RQ5 GSRM 구성(Transformer 유닛 수)과 융합 전략이 성능에 미치는 영향은?

주요 결과

• GSRM을 갖춘 SRN은 일반, 불규칙, 비라틴 장문 텍스트 데이터세트를 포함한 다수의 공개 벤치마크에서 최신 성능을 달성한다.
• PVAM은 시각 특징을 각 대상 문자에 병렬로 정렬해 배치하여 시간 의존적 주의보다 효율성을 향상시킨다.
• 전역 시맨틱 맥락을 모델링함으로써 다방향(병렬) 추론이 단방향 시맨틱 추론 변형보다 우월한 성능 향상을 제공한다.
• 게이트 융합을 갖춘 VSFD는 시각적 신호와 시맨틱 신호를 효과적으로 균형 있게 융합하여 어휘 목록 없이도 견고한 인식 성능을 보인다.
• RNN 기반의 시맨틱 모델 대비 병렬 처리를 통해 추론 속도가 개선되며, 특히 긴 텍스트에서 높은 정확도를 유지한다.