[논문 리뷰] Convolutional Neural Networks for Page Segmentation of Historical Document Images

Kai Chen, Mathias Seuret|arXiv (Cornell University)|2017. 04. 05.

Handwritten Text Recognition Techniques인용 수 8

한 줄 요약

이 논문은 손글씨 역사 문서 이미지의 페이지 세분화를 위해 단일 합성곱층을 갖는 간단한 CNN을 제안하며, 세분화를 픽셀 수준의 분류 작업으로 간주한다. 원시 이미지 패치에서 끝에서 끝까지 특징을 학습함으로써, 더 깊은 아키텍처에 비해 경쟁적인 성능를 달성하며, 공개 데이터셋에서 강력한 성능을 내기 위해 최소한의 깊이와 하이퍼파라미터 튜닝으로도 충분함을 보여준다.

ABSTRACT

This paper presents a Convolutional Neural Network (CNN) based page segmentation method for handwritten historical document images. We consider page segmentation as a pixel labeling problem, i.e., each pixel is classified as one of the predefined classes. Traditional methods in this area rely on carefully hand-crafted features or large amounts of prior knowledge. In contrast, we propose to learn features from raw image pixels using a CNN. While many researchers focus on developing deep CNN architectures to solve different problems, we train a simple CNN with only one convolution layer. We show that the simple architecture achieves competitive results against other deep architectures on different public datasets. Experiments also demonstrate the effectiveness and superiority of the proposed method compared to previous methods.

연구 동기 및 목표

• 손글씨 역사 문서 이미지의 일반적이고 종단 간 페이지 세분화 방법을 개발하여 수작업으로 만든 특징이나 광범위한 도메인 지식에 의존하지 않도록 하는 것.
• 단일 합성곱층만을 갖는 최소한의 CNN 아키텍처가 문서 이미지 세분화에서 경쟁적인 성능을 낼 수 있는지 조사하는 것.
• 풀링, 커널 수, 깊이, 훈련 데이터 크기와 같은 아키텍처 구성 요소가 세분화 정확도에 미치는 영향을 평가하는 것.
• 기존의 규칙 기반 및 기계학습 기반 세분화 기법들과 비교하여 제안된 방법의 성능 및 효율성에 대한 평가

제안 방법

• 이 방법은 각 픽셀을 텍스트, 장식, 배경 등의 사전 정의된 클래스에 할당하는 픽셀 레이블링 문제로 페이지 세분화를 간주한다.
• 초기화된 슈퍼픽셀 알고리즘을 통해 추출된 이미지 패치를 단일 합성곱층 CNN의 입력으로 사용하며, 원시 픽셀에서 직접 공간적 특징을 학습한다.
• 네트워크는 다중 클래스 픽셀 분류를 위해 ReLU 활성화 함수와 소프트맥스 출력을 사용하며, 확률적 경사 하강법을 통해 훈련된다.
• 최대 풀링이 잠재적인 구성 요소로 평가되었지만, 레이아웃 민감한 작업에서 공간 정밀도 손실로 인해 성능이 떨어지는 것으로 나타났다.
• 모델은 종단 간으로 훈련되며, 특징 학습과 분류를 하나의 최적화 과정에 통합하여 외부 특징 추출기의 사용을 피한다.
• 후처리 단계에서는 예측을 정밀하게 다듬기 위해 CRF를 사용하지만, 핵심 방법은 독립적으로 훈련되고 평가된다.

실험 결과

연구 질문

• RQ1 단일 합성곱층만을 갖는 단순한 CNN이 더 깊은 아키텍처에 비해 손글씨 역사 문서 이미지의 세분화 정확도에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 최대 풀링의 포함 여부가 정밀한 공간적 국소화가 필요한 작업에서 세분화 성능에 어떤 영향을 미치는가?
• RQ3 다양한 역사 문서 데이터셋에서 안정적인 성능을 달성하기 위해 최적의 합성곱 커널 수와 훈련 이미지 수는 얼마인가?
• RQ4 제한된 훈련 데이터에서 한층 더 단순한 CNN의 성능이 떨어지는가, 특히 높은 변동성이 있는 문서 레이아웃에서 그렇지 않은가?

주요 결과

• 단일 합성곱층 CNN은 Parzival, CB55, CSG863와 같은 공개 데이터셋에서 더 복잡한 딥 CNN들과 비교해도 평균 교차율(mIoU) 점수를 유사하게 달성한다.
• 최대 풀링을 추가하면 오직 한 데이터셋(CB55)에서 성능이 약간 향상되지만, 일반적으로는 레이아웃 세분화에 필수적인 공간 세부 정보 손실로 인해 결과가 악화된다.
• 커널 수(K)는 K ≥ 4를 초과할 경우 영향이 미미하며, 대부분의 데이터셋에서 성능이 정점에 도달함을 보여주며, 커널 수 증가에 따른 수익 감소를 시사한다.
• 합성곱층 수를 늘리면 성능 향상이 없으며, G. Washington 데이터셋에서는 성능이 약간 떨어지며, 이는 훈련 데이터가 제한되어 있기 때문일 것이다.
• 각 데이터셋당 2장 이상의 훈련 이미지를 사용해도 성능 향상이 크게 없으며, G. Washington 데이터셋에서는 고도로 변동성이 높고 일관되지 않은 진짜값으로 인해 훈련 이미지 수 증가에 따라 성능이 약간 감소한다.
• 이 방법은 각 이미지를 약 1초 내로 처리하며, 초기화된 슈퍼픽셀 기반 및 CRF 정밀화 방법보다 추론 속도에서 뛰어난 성능을 보인다.