[논문 리뷰] Bidirectional Scene Text Recognition with a Single Decoder

Maurits Bleeker, Maarten de Rijke|arXiv (Cornell University)|2019. 12. 08.

Handwritten Text Recognition Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 양방향 스트리밍 텍스트 인식을 위한 단일 디코더 트랜스포머 기반 아키텍처인 Bi-STET을 제안하며, 입력 수준의 방향 임베딩을 통해 디코딩 방향을 조절함으로써 기존 双디코더 접근 방식에 비해 50% 적은 학습 반복 횟수와 더 적은 모델 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Scene Text Recognition (STR) is the problem of recognizing the correct word or character sequence in a cropped word image. To obtain more robust output sequences, the notion of bidirectional STR has been introduced. So far, bidirectional STRs have been implemented by using two separate decoders; one for left-to-right decoding and one for right-to-left. Having two separate decoders for almost the same task with the same output space is undesirable from a computational and optimization point of view. We introduce the bidirectional Scene Text Transformer (Bi-STET), a novel bidirectional STR method with a single decoder for bidirectional text decoding. With its single decoder, Bi-STET outperforms methods that apply bidirectional decoding by using two separate decoders while also being more efficient than those methods, Furthermore, we achieve or beat state-of-the-art (SOTA) methods on all STR benchmarks with Bi-STET. Finally, we provide analyses and insights into the performance of Bi-STET.

연구 동기 및 목표

• 좌우 및 우좌 방향 디코딩을 위한 두 개의 별도 디코더를 사용하는 기존의 양방향 스트리밍 텍스트 인식(STR) 방법의 비효율성과 중복 문제를 해결하기 위해.
• 아키텍처나 알고리즘 수준이 아닌 입력 수준에서 작업 조절을 구현하여, 더 효율적이고 통합된 아키텍처를 통해 양방향 STR에 대한 새로운 접근을 탐색하기 위해.
• 모델의 효율성과 파라미터 공유를 향상시키면서도 표준 STR 벤치마크에서 최신 기술 수준의 성능을 유지하거나 초월하기 위해.
• 특정 주의 헤드를 각 방향에 맞게 설계하지 않고도 단일 트랜스포머 디코더가 효과적으로 양방향 디코딩을 학습하고 활용할 수 있는지 탐구하기 위해.

제안 방법

• 좌우 또는 우좌 방향 디코딩을 조절하기 위해 입력 시퀀스에 방향 임베딩을 추가하는 단일 디코더 트랜스포머 아키텍처(Bi-STET)를 도입한다.
• 반복 없이 시퀀스를 처리할 수 있도록 트랜스포머의 자기주의 주의 메커니즘을 활용하여 전역적 맥락 모델링을 가능하게 하며, 특정 디코딩 순서에 대한 인덕티브 비이드를 제거한다.
• 입력 임베딩에 학습 가능한 방향 토큰('L2R' 또는 'R2L')을 삽입하여 모델이 디코딩 방향을 조절하도록 하여, 하나의 디코더가 양방향 모두를 처리할 수 있도록 한다.
• 모든 모델 파라미터—주목적 헤드를 포함하여—디코딩 방향 간에 공유함으로써 파라미터 효율성과 다중 작업 학습을 촉진한다.
• 이미지 특징과 예측 문자 간의 정렬을 위해 표준 트랜스포머 인코더-디코더 설정과 크로스 주의를 사용한다.
• 통합된 모델을 동시에 양방향 디코딩 방향에서 끝에서 끝까지 학습하여 공동 성능 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 두 개의 별도 디코더 대신 하나의 공유 디코더로 양방향 스트리밍 텍스트 인식을 효과적으로 달성할 수 있는가?
• RQ2 입력 수준의 작업 조절(방향 임베딩을 통한)이 단일 트랜스포머 디코더가 정확도와 효율성 면에서 이중 디코더 아키텍처를 능가하도록 할 수 있는가?
• RQ3 단일 디코더 접근 방식이 굴곡진, 기울인, 투시법 왜곡된 텍스트에 얼마나 잘 일반화되는가?
• RQ4 트랜스포머 모델의 주의 헤드는 특정 디코딩 방향 전용으로 특화되어 있는가, 아니면 양방향 모두에서 공유된 표현을 학습하는가?
• RQ5 RNN 기반 및 이중 디코더 트랜스포머 기반 베이스라인 대비 장거리 시퀀스 인식 성능은 어떻게 되는가?

주요 결과

• Bi-STET은 IIIT-5K, ICDAR2013, CUTE80를 포함한 모든 표준 벤치마크에서 최신 기술 수준의 STR 방법을 능가하거나 동등하게 성능을 내며 우수한 성능을 보였다.
• 이중 디코더 접근 방식에 비해 50% 적은 학습 반복 횟수와 상당히 적은 모델 파라미터로 최신 기술 수준의 성능을 달성하였다.
• 굴곡진 및 투시법 왜곡된 텍스트에 대해 강건성을 보였으며, 'ballys'와 'chathamkent'와 같은 단어를 강력한 왜곡 조건에서도 정확히 인식하였다.
• 긴 시퀀스(최대 17자)에서도 높은 정확도를 유지하였으며, 11자 초과의 시퀀스에서는 이전의 이중 디코더 방법을 능가하였다.
• 주의 헤드는 특정 디코딩 방향 전용으로 특화되어 있지 않았으며, 오히려 좌우 및 우좌 방향 디코딩 모두에서 효과적으로 공유되고 활용되었다.
• 명시적인 정규화 모듈 없이도 어려운 텍스트 변형, 예를 들어 기울인 또는 기울인 단어에 대해 잘 일반화되었다.