[논문 리뷰] Decoupled Attention Network for Text Recognition

Tianwei Wang, Yuanzhi Zhu외 6명|arXiv (Cornell University)|2019. 12. 21.

Handwritten Text Recognition Techniques참고 문헌 45인용 수 8

한 줄 요약

이 논문은 텍스트 인식을 위한 분리된 주의망(DAN)을 제안하며, 이는 이전 복구 결과로부터의 정렬 작업을 분리하여, 시각적 특징에만 기반한 컨볼루션 정렬 모듈(CAM)을 사용한다. 순환적 복구에서 정렬을 분리함으로써 DAN은 오류 누적을 줄이고, 손글씨 및 비정상적인 도로 표지판 텍스트를 포함한 여러 텍스트 인식 벤치마크에서 최고 성능을 달성하며, 텍스트 길이와 이미지 오염에 대해 뛰어난 강건성을 보여준다.

ABSTRACT

Text recognition has attracted considerable research interests because of its various applications. The cutting-edge text recognition methods are based on attention mechanisms. However, most of attention methods usually suffer from serious alignment problem due to its recurrency alignment operation, where the alignment relies on historical decoding results. To remedy this issue, we propose a decoupled attention network (DAN), which decouples the alignment operation from using historical decoding results. DAN is an effective, flexible and robust end-to-end text recognizer, which consists of three components: 1) a feature encoder that extracts visual features from the input image; 2) a convolutional alignment module that performs the alignment operation based on visual features from the encoder; and 3) a decoupled text decoder that makes final prediction by jointly using the feature map and attention maps. Experimental results show that DAN achieves state-of-the-art performance on multiple text recognition tasks, including offline handwritten text recognition and regular/irregular scene text recognition.

연구 동기 및 목표

• 순환적 복구에서 오인한 오류 전파로 인해 발생하는 주의 기반 텍스트 인식의 정렬 문제를 해결한다.
• 주의 메커니즘에서 이전 복구 상태에 대한 의존도를 줄여 정렬의 안정성을 향상시킨다.
• 다양한 텍스트 유형에서 높은 성능을 유지하는 유연하고 종단 간(end-to-end) 텍스트 인식 프레임워크를 개발한다.
• 실세계 텍스트 인식에서 흔한 장기 시퀀스와 미세한 이미지 오염에 대한 강건성을 향상시킨다.
• IIIT-5K, IC13, IC03, SVT-P, CUTE80 등의 표준 벤치마크에서 최고 성능을 달성한다.

제안 방법

• CNN 인코더에서 유도된 시각적 특징만을 사용하여 주의 맵을 계산하는 컨볼루션 정렬 모듈(CAM)을 제안하며, 은닉 상태나 이전 토큰 임베딩에 의존하지 않는다.
• 디코더를 CAM(정렬용)과 별도의 GRU 기반 텍스트 디코더로 분리하여, 특징 맵과 주의 맵을 함께 고려한다.
• 다중 척도의 시각적 특징에서 공간적으로 조밀한 주의 맵을 생성하기 위해 채널별로 전연결 네트워크(FCN)를 사용한다.
• 최종 문자 예측을 위해 양방향 GRU 디코더를 구현하여 시각적 특징과 주의 특징을 모두 활용한다.
• 고정된 초기 학습률 1.0로 ADADELTA를 사용하여 모델을 종단 간으로 훈련하며, 세 번째 에포크 이후 학습률을 0.1로 감소시킨다.
• 정규 및 비정규 텍스트 레이아웃에 유연하게 적응할 수 있도록 1D 및 2D 버전의 DAN(DAN-1D 및 DAN-2D)을 지원한다.

실험 결과

연구 질문

• RQ1 순환적 복구에서 정렬 작업을 분리함으로써 주의 기반 텍스트 인식 성능을 향상시킬 수 있는가?
• RQ2 정렬에 시각적 특징만을 사용할 경우, 장기적이거나 복잡한 텍스트 시퀀스에서 오류 누적과 오정렬을 줄일 수 있는가?
• RQ3 제안된 DAN 모델은 정규 및 비정규 도로 표지판 텍스트 인식 벤치마크에서 기존 최고 성능 모델과 비교해 어떻게 성능을 내는가?
• RQ4 패딩, 늘림, 경계 상자 확장과 같은 이미지 오염에 대해 DAN은 어느 정도 강건한가?
• RQ5 분리된 아키텍처는 손글씨 및 굽은 텍스트를 포함한 다양한 텍스트 유형에서도 높은 성능을 유지할 수 있는가?

주요 결과

• DAN은 정규 도로 표지판 텍스트 인식에서 IIIT-5K와 IC03에서 최고 성능을 달성하였으며, SVT와 IC13에서도 현재 최고 성능에 근접한 성능을 보였다.
• DAN-2D는 SVT-Perspective와 CUTE80에서 최고 성능을 기록하여, 이질적인 텍스트에 대해 기존 2D 기반 방법을 능가했다.
• DAN은 이미지 오염에 대해 뛰어난 강건성을 보였다: IIIT-p, IIIT-r-p, IC13-ex, IC13-r-ex와 같은 변형된 IIIT-5K 및 IC13 버전에서 CA-FCN를 항상 앞섰다.
• 장기 텍스트 인식에서 두드러진 이점이 있었으며, 특히 정렬 오류의 전파가 줄어들어 손글씨 텍스트 인식에서 유의미한 성능 향상을 보였다.
• 제거 실험(ablation study) 결과, CAM이 시각적 특징에만 의존함으로써 정렬의 안정성이 향상되고 복구 오류에 대한 민감도가 감소함을 확인했다.
• 모델의 유연성 덕분에 1D 및 2D 버전 간 간편하게 전환 가능하여 아키텍처의 대대적인 수정 없이 다양한 텍스트 레이아웃에 적응할 수 있었다.