[논문 리뷰] Transformer based Urdu Handwritten Text Optical Character Reader

Mohammad Daniyal Shaiq, Musa Dildar Ahmed Cheema외 1명|arXiv (Cornell University)|2022. 06. 09.

Handwritten Text Recognition Techniques인용 수 5

한 줄 요약

이 논문은 ResNet-18을 특징 추출에 활용하고, 문자를 순차적으로 예측하기 위한 커스터마이징된 트랜스포머 디코더를 사용하는 트랜스포머 기반 아키텍처를 제안한다. 제한된 훈련 데이터로 인해 높은 문자 오류율(85% 이상)을 기록했지만, 이 연구는 저자원 언어인 우르두어 손글씨 OCR에 트랜스포머를 적용하는 데 있어 선구적인 기여를 하였으며, 이 분야에서 향후 연구의 기초를 마련한다.

ABSTRACT

Extracting Handwritten text is one of the most important components of digitizing information and making it available for large scale setting. Handwriting Optical Character Reader (OCR) is a research problem in computer vision and natural language processing computing, and a lot of work has been done for English, but unfortunately, very little work has been done for low resourced languages such as Urdu. Urdu language script is very difficult because of its cursive nature and change of shape of characters based on it's relative position, therefore, a need arises to propose a model which can understand complex features and generalize it for every kind of handwriting style. In this work, we propose a transformer based Urdu Handwritten text extraction model. As transformers have been very successful in Natural Language Understanding task, we explore them further to understand complex Urdu Handwriting.

연구 동기 및 목표

• 복잡한 유사 글자 형태를 지닌 저자원 언어인 우르두어 손글씨 텍스트를 인식할 수 있는 딥 러닝 모델을 개발하는 것.
• 트랜스포머 아키텍처가 특징적으로 접합된, 글자 형태가 빈번히 변형되는 우르두어 손글씨를 다룰 수 있는 능력을 탐색하는 것.
• 유사한 글자 형태를 지닌 우르두어 손글씨에 대한 공개된 대규모 데이터셋과 상용 OCR 솔루션의 부족을 해결하는 것.
• 주의 기반 시퀀스 모델링을 사용한 우르두어 손글씨 인식 분야의 향후 연구를 위한 기초 모델을 수립하는 것.
• 대규모 언어 데이터에 대한 미사전학습 없이도 엔드 투 엔드 문자 수준의 시퀀스 예측이 가능한지 탐구하는 것.

제안 방법

• 입력된 우르두어 손글씨 이미지에서 고차원 특징을 추출하기 위해 ImageNet에서 미사전학습된 ResNet-18을 사용한다.
• ResNet-18의 출력을 완전히 연결된 신경망 레이어를 통해 처리하여 트랜스포머 입력에 적합한 시퀀스 임베딩을 생성한다.
• 인과적 자기주의 주의를 갖춘 트랜스포머 디코더를 활용하여 문자를 하나씩 예측하고, 시퀀스 내 장거리 의존성을 모델링한다.
• 마스크된 언어 모델링을 사용하여 훈련을 진행하며, 실제 레이블이 훈련 중 마스크됨으로써 올바른 문자 시퀀스를 예측하도록 한다.
• 트랜스포머에 대해 사전학습된 가중치를 사용하지 않고, 우르두어 손글씨의 특성에 맞게 훈련을 처음부터 시작한다.
• OCR 작업을 시퀀스에서 시퀀스로의 분류 문제로 간주하며, 입력 이미지를 학습된 표현을 통해 문자 시퀀스로 매핑한다.

실험 결과

연구 질문

• RQ1 복잡한 유사 글자 형태와 높은 접합률을 지닌 언어임에도 불구하고, 트랜스포머 기반 아키텍처가 우르두어 손글씨 텍스트를 효과적으로 인식할 수 있는가?
• RQ2 제한된 우르두어 손글씨 데이터에서 처음부터 훈련된 트랜스포머 모델의 성능이 저자원 환경에서 기존 접근 방식과 비교해 어떻게 되는가?
• RQ3 자신의 주의 메커니즘을 통해 트랜스포머가, 위치에 따라 형태가 크게 변하는 우르두어 손글씨에서 문맥적 의존성을 얼마나 잘 포착할 수 있는가?
• RQ4 트랜스포머를 사용한 엔드 투 엔드 시퀀스 모델링이, 우르두어 손글씨 인식에서 별도의 언어 모델이 필요 없도록 할 수 있는가?
• RQ5 훈련 데이터가 부족한 상황에서 트랜스포머를 저자원 손글씨 인식에 적용할 때의 주요 제약 조건은 무엇인가?

주요 결과

• 모델은 훈련 데이터가 부족하여 85% 이상의 문자 오류율(CER)을 기록하여 수렴과 성능이 열악함을 보였다.
• 높은 오류율에도 불구하고, 트랜스포머 아키텍처를 우르두어 손글씨 텍스트 인식에 적용할 수 있음을 성공적으로 입증하였다.
• 대규모이고 다양한 우르두어 손글씨 데이터셋의 부족이 모델의 수렴과 일반화 능력 향상에 심각한 장애를 초래하였다.
• 우르두어 언어 데이터에 대한 사전학습 없이 트랜스포머를 처음부터 훈련시킴으로써 의미 있는 시퀀스 표현을 학습하는 데 한계가 있었다.
• 문자 수준의 예측으로 인해 긴 출력 시퀀스 길이가 발생하여 훈련의 불안정성과 성능 열악함에 기여했을 가능성이 있다.
• 이 연구는 향후 연구를 위한 기초 프레임워크를 수립하였으며, 특히 사전학습된 언어 모델의 미세조정이나 데이터 증강 기법을 활용해 성능을 향상시키는 데 초점을 맞출 수 있다.