[논문 리뷰] Joint Layout Analysis, Character Detection and Recognition for Historical Document Digitization

Weihong Ma, Hesuo Zhang외 4명|arXiv (Cornell University)|2020. 07. 14.

Handwritten Text Recognition Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 이중 브랜치 네트워크를 사용하여 레이아웃 분석, 문자 검출, 인식을 동시에 수행하는 종단 간(end-to-end), 공동 학습 가능한 프레임워크를 제안한다: 문자 브랜치는 개별 문자의 검출 및 인식을 담당하고, 레이아웃 브랜치는 완전 컨volutional 네트워크(FCN)를 사용하여 허프 기반 선 검출을 위한 이진 마스크를 생성한다. 이 방법은 확장된 MTHv2 데이터셋에서 최신 기술 성능(SOTA)을 달성하였으며, 레이아웃 분석에서 98.60%의 F-스코어와 언어 모델을 활용하여 인식 오류를 줄이는 재평가 메커니즘을 사용한 96.07%의 정확도를 기록하였다.

ABSTRACT

In this paper, we propose an end-to-end trainable framework for restoring historical documents content that follows the correct reading order. In this framework, two branches named character branch and layout branch are added behind the feature extraction network. The character branch localizes individual characters in a document image and recognizes them simultaneously. Then we adopt a post-processing method to group them into text lines. The layout branch based on fully convolutional network outputs a binary mask. We then use Hough transform for line detection on the binary mask and combine character results with the layout information to restore document content. These two branches can be trained in parallel and are easy to train. Furthermore, we propose a re-score mechanism to minimize recognition error. Experiment results on the extended Chinese historical document MTHv2 dataset demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 복잡한 레이아웃을 가진 열악한 조건의 문서에서 오차 누적이 심하고 내성적 성능이 낮은 전통적인 별도의 파이프라인 접근 방식의 한계를 해결하기 위해.
• 레이아웃 분석, 문자 검출, 인식을 통합하여 정확도를 향상시키고 처리를 단순화하는 종단 간 학습 가능한 프레임워크를 개발하기 위해.
• 재평가 메커니즘을 통해 암묵적인 언어 모델을 활용하여 손상된 역사적 문서에서의 인식 내성적 성능을 향상시키기 위해.
• 향후 연구를 지원하기 위해 레이아웃, 문자, 텍스트 라인 주석을 포함한 확장된 완전 주석 처리된 중국 역사적 문서 데이터셋(MTHv2)을 공개하기 위해.

제안 방법

• 다중 스케일 특징을 생성하기 위해 특징 추출 백본(ResNet-50)과 피처 피라미드 네트워크(FPN)를 사용한다.
• 문자 브랜치는 개별 문자의 인스턴스 수준 검출 및 분류를 수행하며, 바운딩 박스와 클래스 레이블을 출력한다.
• 레이아웃 브랜치는 완전 컨volutional 네트워크(FCN)를 사용하여 텍스트 영역를 나타내는 이진 마스크를 예측하고, 이를 허프 변환을 통해 선 검출에 활용한다.
• 후처리 단계에서는 공간적 근접성과 레이아웃 구조를 기반으로 검출된 문자들을 텍스트 라인으로 그룹화하여 올바른 독해 순서(오른쪽에서 왼쪽, 위에서 아래로)를 보장한다.
• 재평가 메커니즘은 문자 수준 및 텍스트 라인 수준 모델의 예측을 결합하여 언어 모델 사전 지식을 활용해 인식 오류를 수정하고 내성적 성능을 향상시킨다.
• 전체 프레임워크는 양 브랜치의 병렬 최적화를 통해 종단 간으로 학습되며, 레이아웃 및 인식 작업 간의 공동 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 종단 간 프레임워크가 레이아웃 분석, 문자 검출, 인식을 공동 최적화하여 역사적 문서 디지털화 과정에서 오차 전파를 줄일 수 있는가?
• RQ2 FCN 기반 레이아웃 검출은 복잡한 배경과 다양한 레이아웃을 다룰 때 기존 수작업 기반 방법(예: 투영 프로파일 분석)에 비해 어떻게 비교되는가?
• RQ3 언어 모델을 활용하는 재평가 메커니즘이 열악한 조건의 역사적 문서에서 인식 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 특히 다중 컬럼 레이아웃에서 문자 수준 검출 및 인식이 순서 기반 방법보다 올바른 독해 순서를 유지하는 데 더 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 프레임워크는 MTHv2 데이터셋에서 레이아웃 분석에서 98.60%의 F-스코어를 기록하였으며, 투영 프로파일 분석(78.17% F-스코어)보다 뚜렷이 뛰어난 성능을 보였다.
• FCN 기반 레이아웃 브랜치는 97.77%의 정밀도와 99.44%의 재현도를 달성하여 복잡한 배경과 다양한 레이아웃에서 뛰어난 내성적 성능을 입증하였다.
• 문자 기반 방법을 사용한 텍스트 라인 검출은 IoU=0.5일 때 97.72%의 H-mean을 기록하여 기존 전통적 방법과 EAST, Mask R-CNN와 같은 모델들을 모두 능가하였다.
• 재평가 메커니즘은 문자 모델의 94.63%와 텍스트 라인 모델의 95.09%에서 시작하여 정확도를 96.07%로 향상시켜 두 인식 스트림 간 강력한 상호 보완 효과를 입증하였다.
• 프레임워크는 95.52%의 정확도율(AR)을 달성하여 올바른 독해 순서로 문서를 재구성하는 데 있어 높은 신뢰성을 보였다.
• 확장된 MTHv2 데이터셋은 이제 공개 가능하며, 레이아웃, 문자, 텍스트 라인에 대한 세부 주석을 포함하여 향후 중국 역사적 문서 분석 연구를 지원한다.