[논문 리뷰] Accurate Fine-grained Layout Analysis for the Historical Tibetan Document Based on the Instance Segmentation

Penghai Zhao, Weilan Wang외 3명|arXiv (Cornell University)|2021. 10. 15.

Handwritten Text Recognition Techniques참고 문헌 43인용 수 13

한 줄 요약

이 논문은 역사적 Tibetan 문서의 미세한 서브라인 수준 레이아웃 분석을 위한 SOLOv2 기반 개선된 인스턴스 세그멘테이션 프레임워크를 제안한다. 접촉된 획, 얼룩, 변동하는 간격 등의 과제를 다루며, 반자동 애너테이션 파이프라인을 도입하고 Kangyur 특성에 맞게 백본을 최적화함으로써, 자체 제작 데이터셋에서 72.7%의 평균 정확도를 달성하여 이 미세한 레이아웃 작업 분야에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Accurate layout analysis without subsequent text-line segmentation remains an ongoing challenge, especially when facing the Kangyur, a kind of historical Tibetan document featuring considerable touching components and mottled background. Aiming at identifying different regions in document images, layout analysis is indispensable for subsequent procedures such as character recognition. However, there was only a little research being carried out to perform line-level layout analysis which failed to deal with the Kangyur. To obtain the optimal results, a fine-grained sub-line level layout analysis approach is presented. Firstly, we introduced an accelerated method to build the dataset which is dynamic and reliable. Secondly, enhancement had been made to the SOLOv2 according to the characteristics of the Kangyur. Then, we fed the enhanced SOLOv2 with the prepared annotation file during the training phase. Once the network is trained, instances of the text line, sentence, and titles can be segmented and identified during the inference stage. The experimental results show that the proposed method delivers a decent 72.7% average precision on our dataset. In general, this preliminary research provides insights into the fine-grained sub-line level layout analysis and testifies the SOLOv2-based approaches. We also believe that the proposed methods can be adopted on other language documents with various layouts.

연구 동기 및 목표

• 역사적 Tibetan 문서, 특히 Kangyur에서 접촉된 구성요소, 얼룩, 변동하는 간격 등의 특징을 지닌 효과적인 미세한 레이아웃 분석 방법의 부족을 해결하기 위해.
• 누적 오류를 줄이기 위해 계단식 텍스트 라인 세그멘테이션에 의존하는 전통적인 레이아웃 분석 파이프라인의 한계를 극복하기 위해.
• 복잡한 문서 레이아웃의 레이블링을 가속화하기 위해 반자동 애너테이션과 수동 보정을 결합한 동적이고 정확한 데이터셋 구축 방법을 개발하기 위해.
• Kangyur의 고유한 시각적 특성에 맞게 SOLOv2의 백본을 적응시켜 역사적 Tibetan 문서 이미지에서의 성능을 향상시키기 위해.
• 후처리 없이 엔드 투 엔드로 정확한 서브라인 수준의 인스턴스 세그멘테이션을 수행하여 후속 인식 작업에 직접 활용할 수 있도록 하기 위해.

제안 방법

• 기존의 텍스트 라인 세그멘테이션과 수동 보정을 조합한 반자동 애너테이션 파이프라인을 사용하여 라인 수준의 미세한 애너테이션을 생성하며, 총 10개의 클래스(line1부터 line8, ltitle, rtitle)를 포함한다.
• 기존의 배경이 얼룩진, 접촉된 획, 퇄어진 글씨를 지닌 역사적 Tibetan 문서의 특징을 더 잘 포착하기 위해 SOLOv2 인스턴스 세그멘테이션 네트워크의 백본 아키텍처를 수정한다.
• 입력 해상도 2496×800과 최적의 성능을 위한 '10-4' 윤곽 유형(10배 확장, 4배 침식)을 사용하여 구축된 데이터셋에서 SOLOv2를 엔드 투 엔드로 훈련시킨다.
• 모델이 원시 문서 이미지에서 직접 세그멘테이션을 학습할 수 있도록 사전 처리나 후처리 전략을 적용하지 않는다.
• 모델은 서브라인 수준에서 텍스트 라인, 문장, 제목에 대한 인스턴스 마스크와 클래스 레이블을 예측하여 겹치거나 접촉된 구성요소를 정확히 분리한다.
• 성능 평가에는 평균 정확도(AP), AP50, AP75 및 바이올린 플롯을 사용하여 IoU 임계값에 따른 강건성과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 접촉된 획과 얼룩과 같은 복잡한 시각적 잡음이 있는 역사적 Tibetan 문서에서 인스턴스 세그멘테이션 기반 접근법이 정확한 서브라인 수준의 레이아웃 분석을 달성할 수 있는가?
• RQ2 반자동 애너테이션 파이프라인이 희귀 언어의 역사적 문서에 대해 높은 수준의 라인 수준 애너테이션 생성을 얼마나 효과적으로 가속화하는가?
• RQ3 표준 인스턴스 세그멘테이션 모델보다 전용 백본을 갖춘 SOLOv2를 개선함으로써 Kangyur 데이터셋에서 성능 향상이 이루어지는가?
• RQ4 Mask R-CNN, YOLACT, SOLO와 같은 기존 모델에 비해 제안된 방법이 도전적인 레이아웃 구성에서 AP와 강건성 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ5 단지 Tibetan 문서에서만 훈련된 제안된 방법이 다른 복잡한 레이아웃을 지닌 언어로 일반화 가능한가?

주요 결과

• 입력 해상도 2496×800과 '10-4' 윤곽 유형을 사용할 때, 제안된 방법은 PKLAD 테스트 세트에서 72.7%의 평균 정확도(AP)를 달성하여 비교된 모든 방법을 능가한다.
• X-101-HRFPN 백본을 갖춘 개선된 SOLOv2는 72.7%의 AP, 93.6%의 AP50, 84.6%의 AP75를 기록하여 Mask R-CNN, YOLACT, SOLO보다 뛰어난 성능과 강건성을 보였다.
• 바이올린 플롯 분석 결과, 제안된 방법의 AP 값은 SOLOv2보다 더 집중되어 있어 다양한 IoU 임계값에서의 강건성이 뛰어나다는 것을 시사한다.
• 시각적 결과는 모델이 접촉된 구성요소를 정확히 세그멘테이션하고 얼룩과 비틀린 선이 있는 경우에도 글자 가장자리에 정확히 따라붙는 것을 확인한다.
• 모델은 라틴 문자를 텍스트 영역으로 잘못 분류하는 것을 방지하여 복잡한 레이아웃 환경에서 강력한 일반화 능력을 보였다.
• 실패 사례로는 부분적인 잘못된 분할과 구성요소 누락이 있으며, 주로 시각화 임계값을 낮춰 시각적 명료성 대비 세그멘테이션 정확도를 포기함으로써 발생한다.