[논문 리뷰] PageNet: Page Boundary Extraction in Historical Handwritten Documents

Chris Tensmeyer, Brian Davis외 3명|arXiv (Cornell University)|2017. 09. 05.

Handwritten Text Recognition Techniques참고 문헌 23인용 수 4

한 줄 요약

PageNet는 역사적 수기 문서의 주요 페이지 영역을 풀 컨volution 네트워크(FCN)를 사용해 픽셀 단위로 분할하고, 후처리를 통해 사각형 경계를 추출하는 딥러닝 시스템이다. 다양한 데이터셋에서 평균 교차율(mIoU)이 94% 이상을 기록하며 인간 수준의 성능을 달성하며, 겹쳐진 문서와 같은 복잡한 경계 노이즈도 처리할 수 있다.

ABSTRACT

When digitizing a document into an image, it is common to include a surrounding border region to visually indicate that the entire document is present in the image. However, this border should be removed prior to automated processing. In this work, we present a deep learning based system, PageNet, which identifies the main page region in an image in order to segment content from both textual and non-textual border noise. In PageNet, a Fully Convolutional Network obtains a pixel-wise segmentation which is post-processed into the output quadrilateral region. We evaluate PageNet on 4 collections of historical handwritten documents and obtain over 94% mean intersection over union on all datasets and approach human performance on 2 of these collections. Additionally, we show that PageNet can segment documents that are overlayed on top of other documents.

연구 동기 및 목표

• 디지타이징된 역사적 수기 문서에서 발생하는 경계 노이즈가 후속 문서 분석 작업에 영향을 미치는 문제를 해결하기 위해.
• 레이아웃, 글자 크기, 경계 일관성에 대한 가정 없이도 주요 페이지 영역을 분할할 수 있는 강력한 종단 간 시스템을 개발하기 위해.
• 다양한 역사적 문서 컬렉션에 일반화되는 고정밀도 페이지 경계 탐지 성능을 달성하기 위해.
• 겹쳐진 문서나 비균일한 경계 노이즈와 같은 도전적인 케이스에서의 효과성을 입증하기 위해.

제안 방법

• 주요 페이지 영역을 나타내는 픽셀 단위 분할 마스크를 예측하기 위해 풀 컨볼루션 네트워크(FCN)를 훈련한다.
• FCN의 출력 결과를 후처리하여 주요 페이지 콘텐츠를 단단히 감싸는 사각형 경계를 추출한다.
• 다양한 역사적 문서 컬렉션에서 수동으로 애너테이션된 사각형 영역을 기반으로 시스템을 훈련한다.
• 고정된 경계 위치, 일관된 글자 크기, 직선적 페이지 가장자리에 대한 가정을 하지 않아 다양한 노이즈 유형에 대한 강건성을 확보한다.
• 모델은 훈련 중에 볼 수 없었던 데이터셋에도 잘 일반화된다.
• 한 문서가 다른 문서 위에 겹쳐진 경우, 오직 상단에 있는 문서만 식별하고 분할할 수 있다.

실험 결과

연구 질문

• RQ1 레이아웃이나 노이즈 구조에 대한 강력한 가정 없이도 딥러닝 기반 시스템이 역사적 수기 문서에서 고정밀도 페이지 경계 탐지 성능을 달성할 수 있는가?
• RQ2 제안된 시스템의 성능은 인간 애너테이션과 기존의 세그멘테이션 방법(예: GrabCut)에 비해 어떻게 비교되는가?
• RQ3 훈련 데이터와 다른 문서 컬렉션에도 시스템이 일반화될 수 있는가?
• RQ4 겹쳐진 문서나 부분적으로 보이는 이웃하는 페이지와 같은 복잡한 경계 노이즈에 대해 시스템의 효과성은 어떠한가?

주요 결과

• PageNet는 주요 테스트 세트에서 평균 교차율(mIoU)이 97.4%를 기록하며 인간 간 일치도인 98.3% mIoU에 근접한다.
• 평가된 다섯 개의 데이터셋 전반에서 PageNet는 94% 이상의 mIoU를 기록하여 다양한 역사적 문서 컬렉션에 대한 강력한 일반화 능력을 입증한다.
• 특히 책 가장자리나 텍스트 잔상과 같은 복잡한 노이즈 유형에서 GrabCut 및 평균 사각형 추정 기반 기준선 방법보다 뛰어난 성능을 보인다.
• 겹침 상황에서 PageNet는 오직 상단 문서만 정확히 분할하여 밑에 있는 문서는 주요 페이지 영역에서 제외한다.
• 동일한 작업에 대해 인간 간 일치도가 높으며(98.3% mIoU), 동일한 애너테이터가 재애너테이션한 결과는 99.0% mIoU를 기록하여 모서리 레이블링에 내재된 애매함이 있음을 시사한다.
• 시스템은 CBAD 데이터셋의 다양한 분할에 대해 성능 저하가 최소한이어서 과적합이 크게 발생하지 않는 것으로 나타났다.