[논문 리뷰] Scene Text Recognition with Permuted Autoregressive Sequence Models

Darwin Bautista, Rowel Atienza|arXiv (Cornell University)|2022. 07. 14.

Handwritten Text Recognition Techniques인용 수 8

한 줄 요약

PARSeq는 공유 가중치와 양방향 컨텍스트를 사용하여 이미지 및 언어 특징을 통합적으로 처리하는 통합된, 순열된 자동회귀 시퀀스 모델을 제안한다. 이는 오차가 발생하기 쉬운 정규화 과정을 제거함으로써 정확도를 향상시키고, 외부 언어 모델에 대한 의존도를 줄이며, 임의의 텍스트 방향성에 대해 강건하고 효율적인 성능을 보인다. 합성 데이터에서 91.9%의 최고 성능을 기록했고, 실제 데이터에서는 96.0%의 최고 성능을 달성하였다.

ABSTRACT

Context-aware STR methods typically use internal autoregressive (AR) language models (LM). Inherent limitations of AR models motivated two-stage methods which employ an external LM. The conditional independence of the external LM on the input image may cause it to erroneously rectify correct predictions, leading to significant inefficiencies. Our method, PARSeq, learns an ensemble of internal AR LMs with shared weights using Permutation Language Modeling. It unifies context-free non-AR and context-aware AR inference, and iterative refinement using bidirectional context. Using synthetic training data, PARSeq achieves state-of-the-art (SOTA) results in STR benchmarks (91.9% accuracy) and more challenging datasets. It establishes new SOTA results (96.0% accuracy) when trained on real data. PARSeq is optimal on accuracy vs parameter count, FLOPS, and latency because of its simple, unified structure and parallel token processing. Due to its extensive use of attention, it is robust on arbitrarily-oriented text which is common in real-world images. Code, pretrained weights, and data are available at: https://github.com/baudm/parseq.

연구 동기 및 목표

• 자기회귀 언어 모델이 시나리오 텍스트 인식에서 겪는 한계, 즉 단방향 컨텍스트 편향과 외부 언어 모델을 사용하는 비효율적인 이중 단계 추론을 해결하기 위해.
• 문맥 무관 비자기회귀 및 문맥 인지 자기회귀 추론을 하나의 효율적인 모델 아키텍처로 통합하기 위해.
• 실제 이미지에서 흔히 발생하는 임의의 방향성과 왜곡된 텍스트에 대해 강건성을 향상시키기 위해.
• 외부 언어 모델이 정확한 예측을 수정하는 데 오류가 발생하기 쉬운 절차를 제거하기 위해 이미지-컨텍스트 모델링을 통합적으로 수행하기 위해.
• 병렬 토큰 처리와 효율적인 어텐션 메커니즘을 통해 최소한의 계산 부담과 낮은 지연 시간을 달성하면서 최고 성능을 내기 위해.

제안 방법

• PARSeq는 공유 가중치를 사용하여 순열된 자기회귀 언어 모델의 앙상블을 학습함으로써, 단일 프로퍼게이션 내에서 양방향 컨텍스트 학습을 가능하게 한다.
• 교차 모odal 어텐션을 사용하는 트랜스포머 기반 아키텍처를 도입하여 시각적 특징과 예측 토큰을 동시에 고려함으로써 예측의 반복적 개선을 가능하게 한다.
• 초기 디코딩과 반복적 개선을 통합적으로 수행함으로써 별도의 문맥 무관 및 문맥 인지 모델이 필요 없도록 한다.
• 순열된 자기회귀 모델링을 통해 병렬 토큰 생성이 가능하면서도 강력한 자기회귀 인덕티브 바이어스를 유지함으로써, 기존 자기회귀 디코딩 대비 지연 시간을 감소시킨다.
• 자기어텐션 메커니즘을 활용하여 장거리 의존성을 모델링하고, 어텐션 기반 특징 통합 덕분에 텍스트 방향 변화에 강건하다.
• 일반화를 향상시키기 위해 합성 데이터에서 학습하고, 실제 데이터에서 미세조정하여 실제 환경 벤치마크에서 높은 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 문맥 무관 및 문맥 인지 모델의 이중 단계 파이프라인을 대체할 수 있는 통합된 모델 아키텍처가 시나리오 텍스트 인식에서 정확도와 효율성을 향상시킬 수 있는가?
• RQ2 공유 가중치를 사용한 순열된 자기회귀 모델링이 표준 자기회귀 모델 대비 임의의 방향성과 왜곡된 텍스트에 대해 얼마나 강건한가?
• RQ3 내부 언어 모델링이 외부 언어 모델 대비 정확한 예측의 오류가 발생하기 쉬운 수정 과정의 위험을 얼마나 줄일 수 있는가?
• RQ4 단일 통합 추론 단계에서 순열 모델링을 통한 이중 컨텍스트 활용이 성능에 얼마나 기여하는가?
• RQ5 합성 데이터에서 학습한 모델가 실제 시나리오 텍스트 벤치마크에서 실수 데이터로 미세조정을 거친 후 최고 성능을 달성할 수 있는가?

주요 결과

• PARSeq는 합성 데이터 벤치마크에서 91.9%의 새로운 최고 성능을 기록하여 이전 방법들을 능가한다.
• 실제 데이터에서는 96.0%의 정확도를 달성하여 Uber-Text 및 COCO-Text를 포함한 여러 벤치마크에서 새로운 SOTA를 수립하였다.
• PARSeq는 고도로 기울여진 수평 및 수직 방향 텍스트를 포함한 Uber-Text 데이터셋의 모든 샘플을 정확히 인식하며, 다른 모델이 실패하는 경우에도 성능을 유지를 한다.
• 정성적 비교에서 PARSeq는 'Chevron'(특징이 가려진 경우)과 'GUNNESS'(저해상도, 가려진 경우)와 같은 도전적인 샘플을 유일하게 정확히 인식하는 모델이다.
• 커브드 및 캐리큘러 텍스트(예: 이탤릭체로 된 'Creative')에서 ABINet와 ViTSTR-S가 실패하는 경우에도 PARSeq는 정확한 문자열을 인식한다.
• 통합적이고 병렬 처리 가능한 아키텍처와 효율적인 어텐션 메커니즘 덕분에 정확도, 파rameter 수, FLOPS, 지연 시간 간 최적의 트레이드오프를 달성한다.