[논문 리뷰] SCATTER: Selective Context Attentional Scene Text Recognizer

Ron Litman, Oron Anschel외 4명|arXiv (Cornell University)|2020. 03. 25.

Handwritten Text Recognition Techniques참고 문헌 44인용 수 7

한 줄 요약

SCATTER는 불규칙 텍스트 인식에 특히 유리한 중간 감독과 이중 단계 주의 기반 디코더를 갖춘 스택형 블록 아키텍처를 제안한다. 깊은 BiLSTM 인코더의 훈련을 안정화하고 예측을 점진적으로 개선함으로써 SCATTER는 최신 기법 대비 불규칙 텍스트 벤치마크에서 평균 정확도를 3.7% 향상시켜 최고 성능을 달성한다.

ABSTRACT

Scene Text Recognition (STR), the task of recognizing text against complex image backgrounds, is an active area of research. Current state-of-the-art (SOTA) methods still struggle to recognize text written in arbitrary shapes. In this paper, we introduce a novel architecture for STR, named Selective Context ATtentional Text Recognizer (SCATTER). SCATTER utilizes a stacked block architecture with intermediate supervision during training, that paves the way to successfully train a deep BiLSTM encoder, thus improving the encoding of contextual dependencies. Decoding is done using a two-step 1D attention mechanism. The first attention step re-weights visual features from a CNN backbone together with contextual features computed by a BiLSTM layer. The second attention step, similar to previous papers, treats the features as a sequence and attends to the intra-sequence relationships. Experiments show that the proposed approach surpasses SOTA performance on irregular text recognition benchmarks by 3.7\% on average.

연구 동기 및 목표

• 임의의 형태의 텍스트, 특히 불규칙하게 굽은 또는 기울인 텍스트를 인식하는 데 도전하는 것, 이는 여전히 장면 텍스트 인식의 핵심적 한계로 남아 있다.
• 기울어짐 기울기와 최적화의 어려움으로 인해 두 개 이상의 레이어를 초과하면 성능이 저하되는 깊은 BiLSTM 인코더의 훈련을 안정화시키는 것.
• 스택형 아키텍처에서 중간 감독을 통해 예측의 점진적 개선을 가능하게 함으로써 장면 텍스트 인식의 문맥 모델링을 향상시키는 것.
• 다중 중간 디코더를 사용하여 예측 간 오라클 스타일의 투표를 가능하게 하여 인식 성능 향상을 탐색하는 것.
• 중간 감독을 통한 반복적 특징 처리가 심층 네트워크에서도 점차 정확도가 향상되는 예측을 이끌어내는지 보여주는 것.

제안 방법

• SCATTER는 각 블록이 CNN 기반 아키텍처와 BiLSTM 인코더를 통해 시각적 특징을 처리하고, 각 블록에서 중간 감독이 적용되는 스택형 블록 아키텍처를 사용한다.
• 중간 감독은 보조 디코더를 통해 여러 단계에서 훈련 신호를 제공함으로써 깊은 BiLSTM 인코더의 훈련을 안정화시킨다.
• 선택적 디코더는 이중 단계 1차원 주의 메커니즘을 사용한다: 첫 번째 단계에서는 시각적 특징과 BiLSTM로부터의 문맥 특징을 주시하고, 두 번째 단계에서는 융합된 특징 내의 문장 내 관계를 주시한다.
• 이 아키텍처는 예측의 점진적 개선을 가능하게 하며, 각 후속 블록이 이전 블록의 결과를 개선함으로써 증가하는 정확도를 보여준다.
• 기존 방법이 2개 레이어를 초과하면 성능이 저하되는 것과 달리, 이 방법은 최대 10개의 BiLSTM 레이어까지 깊은 인코더를 훈련할 수 있으며, 정확도는 단조롭게 향상된다.
• 중간 디코더 예측 간 오라클 투표를 통해 앙상블 유사 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스택형 블록 아키텍처에서 중간 감독이 깊은 BiLSTM 인코더의 훈련을 안정화시킬 수 있는가?
• RQ2 시각적 특징과 문맥 특징을 융합하는 이중 단계 주의 메커니즘이 불규칙 텍스트에 특히 유리한 정확도 향상에 기여하는가?
• RQ3 중간 감독을 통한 반복적 처리가 장면 텍스트 인식에서 점차 정밀해지는 예측을 이끌 수 있는가?
• RQ4 제안된 스택형 아키텍처와 중간 감독을 사용할 경우, 효과적으로 훈련할 수 있는 BiLSTM 인코더의 최대 깊이(레이어 수)는 얼마인가?
• RQ5 여러 중간 디코더의 예측 중 최고의 결과를 선택하는 오라클 전략이 최종 모델을 초월한 성능 향상을 달성할 수 있는가?

주요 결과

• SCATTER는 기존 최고 수준의 기법 대비 불규칙 텍스트 벤치마크에서 평균 정확도를 3.7% 향상시켰으며, IC15와 SVTP에서 특히 뚜렷한 성과를 보였다.
• 깊은 BiLSTM 인코더를 사용할수록 정확도가 단조롭게 증가하여 10개 레이어에서 최적 성능을 기록했으며, 그 이상에서는 정확도가 약간 감소했다.
• 중간 디코더는 점진적 개선을 보였으며, 표 3과 그림 2에서 보듯이 후속 블록으로 갈수록 예측 정확도가 향상됨을 확인했다.
• 중간 디코더 예측 간 오라클 투표는 일부 데이터셋에서 최대 +5.0%의 정확도 향상을 달성했으며, 앙상블 기반 추론의 강력한 잠재력을 보여주었다.
• 깊은 네트워크로 훈련하고 후속 블록을 제거하는 방식이 얕은 네트워크를 훈련하는 것보다 더 높은 성능을 내었으며, 이는 아키텍처의 효율성 향상을 시사한다.
• 중간 감독을 통한 스택형 블록 아키텍처는 이전 연구에서 관찰된 성능 저하 문제를 극복하며 깊은 BiLSTM 인코더의 안정적 훈련을 가능하게 했다.