[논문 리뷰] Improving Long Handwritten Text Line Recognition with Convolutional Multi-way Associative Memory

Duc Dung Nguyen, Nhan Viet Tran외 1명|arXiv (Cornell University)|2019. 11. 05.

Handwritten Text Recognition Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 외부 메모리 모듈을 통합하고 다중 방향 연관 액세스 및 정밀 조정 단계를 갖춘 메모리 증강 CRNN 아키텍처인 컨볼루션 다중 방향 연상 메모리(CMAM)를 제안한다. 이는 장기간의 수작업 텍스트 라인 인식을 향상시키기 위해 설계되었으며, 특히 장기간의 복잡한 일본어 텍스트 라인에서 문자 오류율(CER)을 최대 14%까지 감소시켜 표준 CRNN 및 DNC보다 뛰어난 성능을 보인다.

ABSTRACT

Convolutional Recurrent Neural Networks (CRNNs) excel at scene text recognition. Unfortunately, they are likely to suffer from vanishing/exploding gradient problems when processing long text images, which are commonly found in scanned documents. This poses a major challenge to goal of completely solving Optical Character Recognition (OCR) problem. Inspired by recently proposed memory-augmented neural networks (MANNs) for long-term sequential modeling, we present a new architecture dubbed Convolutional Multi-way Associative Memory (CMAM) to tackle the limitation of current CRNNs. By leveraging recent memory accessing mechanisms in MANNs, our architecture demonstrates superior performance against other CRNN counterparts in three real-world long text OCR datasets.

연구 동기 및 목표

• 장기간의 수작업 텍스트 라인을 처리할 때 CRNN에서 발생하는 기울기 소실/폭발 문제를 해결하기 위해.
• 수작업 텍스트에서 장거리 맥락적 의존성을 포착하는 데에 RNN 기반 디코더의 한계를 극복하기 위해.
• 메모리 증강 신경망(MANNs)에서 영감을 얻은 외부 메모리 모듈을 통합하여 수작업 텍스트 인식에서의 시퀀스 모델링을 향상시키기 위해.
• 메모리 증강 아키텍처가 장기간의 복잡한 텍스트 인식 작업에서 표준 CRNN을 능가할 수 있음을 입증하기 위해.
• 다양한 데이터셋에서 제안된 CMAM 모델을 평가하여 언어 및 텍스트 길이에 걸쳐 그 견고성과 일반화 능력을 검증하기 위해.

제안 방법

• 표준 RNN 기반 디코더를 대체하기 위해 외부 메모리 모듈을 컨볼루션 순환 신경망(CRNN)에 통합하기 위해.
• 기능 기록을 위한 하나의 헤드와 다양한 미분 가능 어텐션을 통한 메모리 읽기 기능을 갖춘 컨트롤러 네트워크를 사용하기 위해.
• 다중 방향 연상 메모리 액세스를 구현하여 여러 메모리 슬롯을 동시에 액세스할 수 있도록 하여 맥락 모델링을 향상시키기 위해.
• 반복적인 정밀 조정 단계(l=1)를 적용하여 여러 타임스텝에 걸쳐 메모리 읽기 정확도와 특징 표현을 향상시키기 위해.
• 시퀀스 간 정렬을 위해 연결주의적 시간 분류(CTC) 손실을 사용하여 엔드 투 엔드 모델을 훈련시키기 위해.
• 실제 스캔 문서에서의 미세 조정 이전에 합성 일본어 텍스트 이미지(100,000개 샘플)로 사전 훈련하여 데이터 효율성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 메모리 증강 아키텍처는 표준 CRNN을 초월하여 장기 맥락 수작업 텍스트 인식을 향상시킬 수 있는가?
• RQ2 다중 방향 연상 메모리 액세스는 표준 RNN과 비교해 수작업 텍스트 인식에서 시퀀스 모델링을 어떻게 향상시키는가?
• RQ3 외부 메모리 통합이 특히 자원이 부족하거나 노이즈가 많은 상황에서 장기간 복잡한 텍스트 라인에서 문자 오류율을 감소시키는가?
• RQ4 합성 데이터로의 사전 훈련은 실제 수작업 텍스트 인식 작업에서 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ5 메모리 액세스에서의 반복적 정밀 조정은 장기간의 텍스트 라인에서 인식 정확도를 얼마나 향상시키는가?

주요 결과

• CMAM은 한 번의 정밀 조정 단계(l=1)를 적용했을 때, 비공개 일본어 데이터셋의 검증 세트에서 문자 오류율(CER)을 14.29% 감소시키고, 테스트 세트에서는 14.01% 감소시켰다. 이는 CRNN 대비 성능 향상이다.
• 일본어 데이터셋에서, CMAM은 합성 데이터로 사전 훈련한 후 테스트 CER가 10.71%로 나타나, CRNN의 11.62%보다 0.91%포인트 높은 성능을 기록했다.
• IAM 영어 데이터셋에서, CMAM(l=1)은 표준 CRNN 대비 CER를 2% 이상 감소시켜 더 짧고 깔끔한 라인에서도 일관된 성능 향상을 입증했다.
• SCUT-EPT 중국어 데이터셋에서, CMAM은 CRNN보다 3.04% 높은 정확도(CR)를 기록했으며, 각각 82.14% 대비 81.47%로 복잡한 스크립트에서의 우수성을 확인했다.
• 더 길고 더 복잡한 텍스트 라인에서 CMAM과 CRNN 간의 성능 격차가 커지며, 이는 메모리 메커니즘이 장기 맥락 모델링에 특히 유리함을 시사한다.
• 합성 데이터로의 사전 훈련은 CRNN 성능을 크게 향상시키지만, CMAM에는 상대적으로 작은 성능 향상만을 가져오며, 이는 CMAM가 더 데이터 효율적이고 분포 이탈에 더 강건함을 시사한다.