[논문 리뷰] HWNet v2: An Efficient Word Image Representation for Handwritten Documents

Praveen Krishnan, C. V. Jawahar|arXiv (Cornell University)|2018. 02. 17.

Handwritten Text Recognition Techniques참고 문헌 85인용 수 5

한 줄 요약

HWNet v2는 수정된 ResNet-34 아키텍처와 영역 관심 풀링(Region-of-Interest Pooling)을 갖춘 깊은 합성곱 신경망을 제안하여 수기 및 인쇄된 단어 이미지에 대해 압축된 32차원의 통합적 표현을 학습한다. 합성 데이터 사전 훈련과 현실적인 데이터 증강을 활용하여 다양한 언어와 문서 유형 간의 강인성과 일반화 능력을 향상시켜, IAM 데이터셋에서 단어 검색 성능을 최신 기준 수준으로 달성한다. mAP는 0.90을 기록한다.

ABSTRACT

We present a framework for learning an efficient holistic representation for handwritten word images. The proposed method uses a deep convolutional neural network with traditional classification loss. The major strengths of our work lie in: (i) the efficient usage of synthetic data to pre-train a deep network, (ii) an adapted version of the ResNet-34 architecture with the region of interest pooling (referred to as HWNet v2) which learns discriminative features for variable sized word images, and (iii) a realistic augmentation of training data with multiple scales and distortions which mimics the natural process of handwriting. We further investigate the process of transfer learning to reduce the domain gap between synthetic and real domain, and also analyze the invariances learned at different layers of the network using visualization techniques proposed in the literature. Our representation leads to a state-of-the-art word spotting performance on standard handwritten datasets and historical manuscripts in different languages with minimal representation size. On the challenging IAM dataset, our method is first to report an mAP of around 0.90 for word spotting with a representation size of just 32 dimensions. Furthermore, we also present results on printed document datasets in English and Indic scripts which validates the generic nature of the proposed framework for learning word image representation.

연구 동기 및 목표

• 수기 및 인쇄된 문서의 어휘적 및 의미적 정보를 유지하는 압축형이고 통합적인 단어 이미지 표현을 개발하기 위해.
• 합성 및 실제 수기 문서 이미지 간 도메인 갭을 효과적인 데이터 증강 및 전이 학습을 통해 줄이기 위해.
• 역사적 문헌 및 다중 스크립트 문서를 포함한 저자원 및 열악한 조건의 문서 환경에서도 강인한 단어 검색을 가능하게 하기 위해.
• 다양한 언어와 스크립트에서 수기 및 인쇄된 텍스트에 적용 가능한 일반적이고 이식 가능한 프레임워크를 만들기 위해.
• 실시간 검색 및 후속 NLP 작업에 적합한 경량이고 효율적인 표현(32D)을 제공하기 위해.

제안 방법

• 변형된 ResNet-34 아키텍처와 영역 관심 풀링(RoIPooling)을 사용하여 크기가 다른 단어 이미지를 처리하기 위해.
• 일반화 가능한 특징을 학습하기 위해 대규모 합성 수기 단어 데이터셋(iiit-hws)에서 사전 훈련을 수행하기 위해.
• 탄성 왜곡, 애핀 변환(회전, 기울임, 팞딩) 및 경계 상자 왜곡을 실시간으로 적용하여 자연스러운 수기 변형을 시뮬레이션하는 데이터 증강을 수행하기 위해.
• 실제 데이터셋에서 감독 분류 손실을 사용하여 미세 조정하여 실제 도메인 특성에 적응하기 위해.
• 안정적인 훈련을 위해 He 가중치 초기화와 모멘텀을 사용한 확률적 경사 하강법을 사용하기 위해.
• 최종 완전 연결 층을 사용하여 각 단어 이미지당 32차원의 기술자 특징을 추출하기 위해.

실험 결과

연구 질문

• RQ1 합성 데이터에서 훈련된 딥 CNN이 실제 수기 및 인쇄된 문서에 일반화 가능한 특징을 학습할 수 있는 저차원 표현을 학습할 수 있는가?
• RQ2 데이터 증강이 자연스러운 수기 변형을 얼마나 효과적으로 시뮬레이션하고, 합성 데이터와 실제 데이터 간 도메인 갭을 줄이는 데 얼마나 기여하는가?
• RQ3 네트워크의 다양한 레이어에서 학습된 불변성은 무엇이며, 그것이 강인한 단어 검색에 어떻게 기여하는가?
• RQ4 제안된 표현이 최소한의 차원 수로 현대적 및 역사적 문서 데이터셋 모두에서 최신 기준 수준의 성능을 달성할 수 있는가?
• RQ5 재훈련 없이도 모델이 다양한 언어와 스크립트 간에 얼마나 효과적으로 이식 가능한가?

주요 결과

• HWNet v2는 단어 이미지의 32차원 표현만을 사용하여 도전적인 IAM 데이터셋에서 mAP 0.90을 달성하여 새로운 최신 기준 수준을 설정한다.
• 영어, 히누디어, 텔루구어 등 인쇄된 문서 데이터셋에서도 높은 성능을 기록하여 다양한 스크립트와 모odal 간의 일반화 능력을 입증한다.
• 힌두어 및 텔루구어 데이터셋에서의 미세 조정이 성능을 크게 향상시켜 저자원 및 스크립트가 다를 경우에도 적응 가능함을 보여준다.
• 정성적 결과는 분할 노이즈와 열악한 품질에 대해 강인함을 보이며, 시각적 변형이 있더라도 검색된 단어가 어휘적 유사성을 유지함을 보여준다.
• 모델은 이미지당 약 10밀리초 내로 단어 표현을 계산하여 실시간 응용이 가능하다.
• iiit-hws 합성 데이터셋, 사전 훈련된 모델, 코드의 공개로 문서 처리 작업의 재현 가능성과 광범위한 도입이 보장된다.