[논문 리뷰] Joint Visual Semantic Reasoning: Multi-Stage Decoder for Text Recognition

Ayan Kumar Bhunia, Aneeshan Sain외 4명|arXiv (Cornell University)|2021. 07. 26.

Multimodal Machine Learning Applications참고 문헌 63인용 수 4

한 줄 요약

이 논문은 시각적 특징만을 사용하는 모델의 한계를 보완하기 위해 공동 시각-의미적 추론을 통합한 다단계, 다스케일 주의형 디코더를 제안한다. 예측을 단계별로 전개하고, 이산 문자 예측으로 인한 비가역성 문제를 해결하기 위해 스트레이트스러우스 Gumbel-softmax를 사용함으로써, 끝에서 끝까지 학습이 가능하게 하며, 초기 시각적 추정치를 문맥적 의미 정보로 개선한다. 이로 인해 IC15에서 84.0%의 WRA를 달성하여 기존 SOTA 방법보다 뚜렷한 향상이 이루어졌다.

ABSTRACT

Although text recognition has significantly evolved over the years, state-of-the-art (SOTA) models still struggle in the wild scenarios due to complex backgrounds, varying fonts, uncontrolled illuminations, distortions and other artefacts. This is because such models solely depend on visual information for text recognition, thus lacking semantic reasoning capabilities. In this paper, we argue that semantic information offers a complementary role in addition to visual only. More specifically, we additionally utilize semantic information by proposing a multi-stage multi-scale attentional decoder that performs joint visual-semantic reasoning. Our novelty lies in the intuition that for text recognition, the prediction should be refined in a stage-wise manner. Therefore our key contribution is in designing a stage-wise unrolling attentional decoder where non-differentiability, invoked by discretely predicted character labels, needs to be bypassed for end-to-end training. While the first stage predicts using visual features, subsequent stages refine on top of it using joint visual-semantic information. Additionally, we introduce multi-scale 2D attention along with dense and residual connections between different stages to deal with varying scales of character sizes, for better performance and faster convergence during training. Experimental results show our approach to outperform existing SOTA methods by a considerable margin.

연구 동기 및 목표

• 왜곡, 노이즈, 저조도 이미지 등 극도로 복잡한 상황에서 시각적 특징에만 의존하는 최신 텍스트 인식 모델의 한계를 해결하기 위해.
• 다단계에서 반복적으로 예측을 개선함으로써, 시각적 및 의미적 문맥을 모두 활용하여 공동 시각-의미적 추론을 가능하게 하기 위해.
• 다단계 설정에서 이산 문자 예측으로 인해 발생하는 비가역성 문제를 해결하고, 단계 간 경로를 따라 기울기 전파가 가능하도록 끝에서 끝까지 학습을 가능하게 하기 위해.
• 단계별 개선과 다스케일 주의 메커니즘을 통해 전역적 의미적 문맥을 통합함으로써, 제약이 없는 텍스트 인식의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 첫 번째 단계는 시각적 특징만을 사용하고, 이후 단계에서는 공동 시각-의미적 정보를 활용하여 예측을 개선하는 다단계 전개 주의형 디코더를 도입한다.
• 학습 중 argmax의 비가역성 문제를 해결하기 위해 스트레이트스러우스 Gumbel-softmax 연산자를 사용하여 이산 토큰 예측을 통해 기울기 전파가 가능하도록 한다.
• 다양한 문자 크기를 처리하고 스케일 간 특징 정렬을 향상시키기 위해 다스케일 2D 컨volutional 주의 메커니즘을 사용한다.
• 학습 안정성 향상과 수렴 속도 향상을 위해 단계 간에 밀집 연결 및 잔차 연결을 통합한다.
• 장거리 의존성을 모델링하고 의미적 문맥을 특징에 풍부하게 하기 위해, 다중 헤드 자기주도 주의를 갖춘 LSTM 또는 Transformer 기반의 시각-의미적 추론 모듈을 활용한다.
• 전이 학습된 BERT 유사 아키텍처를 의미 추론 모듈에 적용하여 전역적 의미 이해를 향상시킨다.

Figure 1 : Compared to existing attentional decoder architectures [ 53 , 33 ] , we design a novel multi-scale attention decoder for text recognition which is unpacked in a stage-wise manner . The problem of non-differentiability, due to discrete-character prediction is bypassed via straight-through

실험 결과

연구 질문

• RQ1 시각적 특징만으로는 부족한 와일드한, 제약이 없는 상황에서 공동 시각-의미적 추론이 텍스트 인식 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 끝에서 끝까지 미분 가능한 방식으로 다단계 디코딩 프레임워크가 시각적 및 의미적 문맥을 효과적으로 활용하여 예측을 개선할 수 있는가?
• RQ3 다단계 개선에 있어서 최적의 단계 수는 얼마이며, 이는 모델 성능과 수렴에 어떤 영향을 미치는가?
• RQ4 다스케일 주의 및 잔차 연결을 통합할 경우, 텍스트 인식의 강건성과 정확도가 얼마나 향상되는가?
• RQ5 의미 추론 모듈을 사전 학습함으로써 전체 인식 성능이 얼마나 향상되는가?

주요 결과

• 제안된 다단계 디코더는 IC15 데이터셋에서 84.0%의 단어 인식 정확도(WRA)를 달성하여 이전 SOTA를 뚜렷이 앞서며 성능 향상을 이룬다.
• 분류 헤드와 개선 헤드에 별도의 가중치를 사용하면서도 인코더와 의미 추론 모듈은 공유할 경우, 성능이 1.7% 향상되어 최적의 파라미터 공유 전략임을 입증한다.
• 최적의 단계 수는 두 단계로 확인되었으며, 세 단계에서 성능이 포화 상태에 도달하는 것으로 보이며, 이는 기울기 소실 문제 또는 의미적 문맥 활용의 감소 효과 때문일 수 있다.
• 저자료 환경에서도 뛰어난 성능을 보였으며, 단지 100만 개의 학습 샘플만으로도 73.1%의 WRA를 달성하여 베이스라인 및 이전 SOTA 방법을 모두 능가했다.
• 사전 학습된 Transformer 기반의 시각-의미적 추론 모듈을 사용할 경우 84.0%의 WRA를 기록하였으며, LSTM 기반 버전보다 0.9% 향상되었고, 사전 학습되지 않은 Transformer 기반 베이스라인보다 1.3% 향상되었다.
• 계산 비용은 기준 모델의 15.3 GFLOPs에서 제안 모델의 22.5 GFLOPs로 증가하지만, 이는 정확도 향상의 상당한 기여로 인해 정당화되며, 더 깊은 네트워크를 단순히 쌓는 것과 비교할 때 특히 유의미하다.

Figure 2 : With the extracted context-rich holistic feature ( $h_{L}$ ) and multi-scale feature maps ( $B_{L},B_{L-1},B_{L-2}$ ), a multi-stage attentional decoder predicts the character sequences in consecutive stages. Once the previous stage’s decoder completely unrolls itself across time , the cu