[논문 리뷰] RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition

Xiaoyu Yue, Zhanghui Kuang외 3명|arXiv (Cornell University)|2020. 07. 15.

Handwritten Text Recognition Techniques참고 문헌 54인용 수 13

한 줄 요약

RobustScanner는 주로 문맥이 없는 텍스트에서의 정확도를 향상시키기 위해 어텐션 기반의 장면 텍스트 인식에서 위치 정보를 동적으로 융합하는 메커니즘을 제안한다. 위치 인식 모듈과 학습 가능한 게이트를 도입하여 문맥과 위치 정보를 적응적으로 융합함으로써, 정규 및 비정규 벤치마크에서 최고 성능을 기록하면서도 무작위 문자열과 같은 문맥이 없는 시퀀스에서도 높은 정확도를 유지도한다.

ABSTRACT

The attention-based encoder-decoder framework has recently achieved impressive results for scene text recognition, and many variants have emerged with improvements in recognition quality. However, it performs poorly on contextless texts (e.g., random character sequences) which is unacceptable in most of real application scenarios. In this paper, we first deeply investigate the decoding process of the decoder. We empirically find that a representative character-level sequence decoder utilizes not only context information but also positional information. Contextual information, which the existing approaches heavily rely on, causes the problem of attention drift. To suppress such side-effect, we propose a novel position enhancement branch, and dynamically fuse its outputs with those of the decoder attention module for scene text recognition. Specifically, it contains a position aware module to enable the encoder to output feature vectors encoding their own spatial positions, and an attention module to estimate glimpses using the positional clue (i.e., the current decoding time step) only. The dynamic fusion is conducted for more robust feature via an element-wise gate mechanism. Theoretically, our proposed method, dubbed \emph{RobustScanner}, decodes individual characters with dynamic ratio between context and positional clues, and utilizes more positional ones when the decoding sequences with scarce context, and thus is robust and practical. Empirically, it has achieved new state-of-the-art results on popular regular and irregular text recognition benchmarks while without much performance drop on contextless benchmarks, validating its robustness in both contextual and contextless application scenarios.

연구 동기 및 목표

• 문맥이 없는 텍스트, 예를 들어 무작위 문자 시퀀스에서 어텐션 기반의 장면 텍스트 인식 모델의 성능이 열 劣하는 문제를 해결하기 위해.
• 특히 문맥 정보가 위치 정보를 지배함으로써 발생하는 어텐션 드리프트 현상 등, 문맥이 없는 상황에서의 잘못된 인식 원인을 규명하기 위해.
• 디코더에서 위치 인식 능력을 향상시켜 성능 저하 없이도 문맥이 없는 시퀀스에서의 정확도를 높이는 방법을 설계하기 위해.
• 시퀀스의 문맥에 따라 문맥 정보와 위치 정보를 적응적으로 균형 잡는 동적 융합 메커니즘을 개발하기 위해.

제안 방법

• 현재 디코딩 타임스텝만을 사용하여 위치 정보로 삼는 위치 강화 브랜치를 도입하여, 문맥과 무관한 위치 정보 추정을 수행한다.
• 에코더 특징 맵에 공간적 위치 인코딩을 주입함으로써 위치 표현을 강화하는 위치 인식 모듈을 활용한다.
• 기존 디코더와 별도로 위치 기반 정보에만 의존하는 어텐션 모듈을 도입하여, 현재 타임스텝과 에코더 특징을 기반으로 구간을 계산한다.
• 각 디코딩 단계에서 기존 디코더의 구간 벡터와 위치 강화 브랜치의 구간 벡터를 동적으로 융합하기 위해 학습 가능한 원소별 게이트 메커니즘을 적용한다.
• 게이트는 문맥 정보와 위치 정보 간의 동적 비율을 학습하며, 문맥 정보가 부족할 경우 위치 정보를 우선적으로 활용한다.
• 문자 수준의 인식에서 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 정확도와 정확도 저하 방지를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 왜 어텐션 기반의 장면 텍스트 인식 모델은 문맥 기반 벤치마크에서는 뛰어난 성능을 보이지만, 문맥이 없는 텍스트 시퀀스에서는 실패하는가?
• RQ2 디코더의 쿼리 특징 벡터가 얼마나 많은 위치 정보를 포함하고 있으며, 이는 디코딩 타임스텝이 진행됨에 따라 어떻게 변화하는가?
• RQ3 전용 브랜치를 통해 위치 정보를 강화하면, 문맥이 없는 시퀀스에서의 인식 정확도가 향상되면서도 문맥이 있는 시퀀스의 성능이 저하되지 않을 수 있는가?
• RQ4 고정된 융합 방식(덧셈 또는 연결)과 비교해 볼 때, 동적 융합은 어떤가?

주요 결과

• RobustScanner는 IIIT-5K에서 95.3%, SVT에서 88.1%, ICDAR 2013에서 94.8%, ICDAR 2015에서 77.1%, SVTP에서 79.5%, CUTE 80에서 90.3%의 최고 성능을 기록했다.
• 무작위 문자 시퀀스로 구성된 합성된 RandText 벤치마크에서 RobustScanner는 83.4%의 정확도를 기록했으며, SAR(59.6%) 및 기타 베이스라인보다 유의미하게 높았다.
• 동적 융합 모듈은 모든 벤치마크에서 고정된 융합 방법(덧셈 및 연결)을 능가했으며, 특히 문맥이 어려운 데이터셋에서 가장 높은 성능 향상을 보였다.
• 아블레이션 스터디 결과, 위치 인식 모듈이 필수적임을 입증했으며, 사인-余현 위치 인코딩으로 대체할 경우 주요 벤치마크에서 정확도가 3-5% 감소했다.
• 면허번호 인식 작업에서 RobustScanner는 도메인 외부 테스트 세트에서 55.7%의 정확도를 기록했으며, SAR(29.9%), DAN(51.1%), Wang et al.(46.4%)를 모두 초월했다.
• 표준 벤치마크에서 최고 성능을 기록하면서도 문맥이 없는 데이터에 대해서도 뛰어난 성능을 유지함으로써, 문맥이 있는 경우와 없는 경우 모두에서 강건성을 입증했다.