[논문 리뷰] Visual-Semantic Transformer for Scene Text Recognition

Xin Tang, Yongquan Lai외 3명|arXiv (Cornell University)|2021. 12. 02.

Handwritten Text Recognition Techniques참고 문헌 55인용 수 11

한 줄 요약

이 논문은 가시적 및 의미적 특징을 가중치 공유된 시각-의미 정렬 모듈과 다중 헤드 자기주의 상호작용을 통해 공동으로 학습하는 가중치 공유 시각-의미 정렬 모듈을 갖춘 새로운 엔드 투 엔드 스크린 텍스트 인식 모델인 Visual-Semantic Transformer(VST)을 제안한다. 트랜스포머 기반의 상호작용 모듈을 통해 의미 정보를 명시적으로 추출하고 시각적 특징과 융합함으로써, VST는 일곱 개의 공개 벤치마크 중 네 곳에서 최신 기술 수준(SOTA) 성능을 달성하며, 외부 언어 모델에 의존하지 않고도 더 빠른 추론 속도를 보이며 성능을 뛰어넘는다.

ABSTRACT

Modeling semantic information is helpful for scene text recognition. In this work, we propose to model semantic and visual information jointly with a Visual-Semantic Transformer (VST). The VST first explicitly extracts primary semantic information from visual feature maps with a transformer module and a primary visual-semantic alignment module. The semantic information is then joined with the visual feature maps (viewed as a sequence) to form a pseudo multi-domain sequence combining visual and semantic information, which is subsequently fed into an transformer-based interaction module to enable learning of interactions between visual and semantic features. In this way, the visual features can be enhanced by the semantic information and vice versus. The enhanced version of visual features are further decoded by a secondary visual-semantic alignment module which shares weights with the primary one. Finally, the decoded visual features and the enhanced semantic features are jointly processed by the third transformer module obtaining the final text prediction. Experiments on seven public benchmarks including regular/ irregular text recognition datasets verifies the effectiveness our proposed model, reaching state of the art on four of the seven benchmarks.

연구 동기 및 목표

• 시각적 신호만으로는 충분하지 않은 복잡하거나 손상되거나 비정상적인 조건에서의 스크린 텍스트 인식 문제를 해결하기 위해.
• 외부 언어 모델이나 어휘집에 의존하지 않고도 의미적 맥락을 명시적으로 모델링하여 인식 정확도를 향상시키기 위해.
• 통합된 엔드 투 엔드 학습 가능한 트랜스포머 아키텍처를 통해 효과적인 시각-의미 특징 상호작용을 가능하게 하기 위해.
• CTC 기반 또는 자동재귀 모델 대비 더 빠른 추론을 위해 비자기적, 병렬 디코딩을 달성하기 위해.

제안 방법

• 모델은 컷된 스크린 이미지에서 초기 시각적 특징을 추출하기 위해 컨볼루션 네트워크(ConvNet)를 사용한다.
• 주요 시각-의미 정렬 모듈은 트랜스포머 기반 모듈을 사용하여 시각적 특징 맵에서 의미적 특징을 추출한다.
• 의미적 특징과 시각적 특징은 의사 다중 도메인 시퀀스로 결합되어 트랜스포머 상호작용 모듈에 입력되어 다중 모odal 주의 및 특징 강화를 가능하게 한다.
• 주요 모듈과 가중치를 공유하는 보조 시각-의미 정렬 모듈은 강화된 시각적 특징을 디코딩한다.
• 최종으로 강화된 시각적 특징과 의미적 특징은 제3의 트랜스포머 모듈과 소프트맥스 레이어를 통해 공동으로 처리되어 엔드 투 엔드 텍스트 예측이 이루어진다.
• 모델은 온라인 데이터 증강을 적용하며, 클래스 균형 샘플링을 사용한 다중 데이터셋 혼합(ST, MJ, SA)에서 Adam 옵timizer로 훈련된다.

실험 결과

연구 질문

• RQ1 명시적인 의미적 특징 학습이 저품질 또는 비정상적인 텍스트 시나리오에서 스크린 텍스트 인식 성능을 향상시키는가?
• RQ2 다중 헤드 자기주의를 통한 시각-의미 상호작용은 시각적 및 의미적 표현을 강화하는 데 얼마나 효과적인가?
• RQ3 통합된 비자기적 트랜스포머 모델이 자동재귀 또는 CTC 기반 모델 대비 속도와 정확도에서 슈퍼리어한 성능을 내는가?
• RQ4 시각-의미 정렬 모듈 간의 가중치 공유가 특징 정렬과 일반화 능력을 향상시키는가?
• RQ5 외부 사전 훈련된 언어 모델에 의존하는 최신 기술 수준(SOTA) 모델과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• VST-B와 VST-F는 일곱 개의 공개 벤치마크 중 네 곳에서 최신 기술 수준(SOTA) 성능을 달성하였으며, IC03(+0.8%) 및 CUTE(+2.8%)에서 뚜렷한 향상을 보였다.
• 복잡한 사전 훈련된 언어 모델을 사용하는 최근의 SOTA 방법보다도 성능이 뛰어나며, 추론 속도는 약 3배 빠르다.
• 제거 실험 결과 각 모듈, 특히 시각-의미 정렬 및 상호작용 모듈이 성능 향상에 기여한다는 것이 확인되었다.
• 주의 히트맵의 시각화 결과 상호작용 모듈이 예측 문자에 해당하는 관련 공간 영역에 효과적으로 집중하고 있음을 확인하였다.
• 도식 5에 나타난 바와 같이, 도전적인 비정상적이고 왜곡된 텍스트에서도 모델은 강력한 일반화 능력을 보였다.
• 모듈을 추가함에 따라 성능 향상이 일관되게 유지되었으며, 각 추가 구성 요소가 정확도를 향상시키는 것으로 나타나 모듈러 설계의 타당성을 입증하였다.