[논문 리뷰] Applications of Machine Learning in Document Digitisation

Christian M. Dahl, Torben S. D. Johansen외 3명|arXiv (Cornell University)|2021. 02. 05.

Handwritten Text Recognition Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 기계학습을 활용해 스캔된 역사적 문서에서 데이터 수집을 자동화하는 방법을 보여주며, 간호사 일기장에서 치료 지표를 유추하기 위해 비지도 레이아웃 분류를 사용하고, 덴마크 사망증명서의 수기 글자 인식에 주목 기반 신경망을 적용한다. 이는 생년과 사망연도를 전환하는 데 있어 종단간 정확도 83.66%를 달성하여 수동 전사 비용을 크게 줄이고 대규모 문서 컬렉션에 대한 확장 가능한 분석을 가능하게 한다.

ABSTRACT

Data acquisition forms the primary step in all empirical research. The availability of data directly impacts the quality and extent of conclusions and insights. In particular, larger and more detailed datasets provide convincing answers even to complex research questions. The main problem is that 'large and detailed' usually implies 'costly and difficult', especially when the data medium is paper and books. Human operators and manual transcription have been the traditional approach for collecting historical data. We instead advocate the use of modern machine learning techniques to automate the digitisation process. We give an overview of the potential for applying machine digitisation for data collection through two illustrative applications. The first demonstrates that unsupervised layout classification applied to raw scans of nurse journals can be used to construct a treatment indicator. Moreover, it allows an assessment of assignment compliance. The second application uses attention-based neural networks for handwritten text recognition in order to transcribe age and birth and death dates from a large collection of Danish death certificates. We describe each step in the digitisation pipeline and provide implementation insights.

연구 동기 및 목표

• 스캔된 역사적 문서의 수동 또는 커스터마이징된 전사 방식의 확장성과 비용 제한 문제를 해결하기 위해.
• 기계학습이 비표준 스캔된 종이 문서, 예를 들어 간호사 일기장과 사망증명서와 같은 자료에서 데이터 수집을 자동화할 수 있음을 보여주기 위해.
• 파이썬, 파이토치, 오픈CV와 같은 무료로 이용 가능한 도구를 사용해 기계학습 기반 디지털화 파이프라인을 구현할 수 있음을 보여주기 위해.
• 실제 보존 자료 데이터셋에서 레이아웃 분류 및 수기 글자 인식에 대한 종단간 기계학습 파이프라인의 성능을 평가하기 위해.
• 기계학습이 대규모 역사적 자료 분석을 위해 수동 노동을 줄이고도 수용 가능한 정확도를 유지하는 데 실질적인 이점을 제공할 수 있음을 강조하기 위해.

제안 방법

• 간호사 일기장의 치료 분야와 같은 문서 영역을 식별하고 분할하기 위해 클러스터링 기법을 활용한 비지도 레이아웃 분류.
• 스캔된 문서의 사전 분할된 영역에서 종단간 수기 글자 인식을 위한 주목 기반 신경망 적용.
• 특히 날짜 영역에서의 전사 오류를 줄이기 위해 개선된 영역 수준 분할을 위해 마스크 R-CNN 사용.
• 낮은 신뢰도 예측를 수동 검토 대상으로 표시하기 위해 신뢰도 임계값 설정을 구현하여 주도학습 루프를 가능하게 함.
• 나이 및 날짜 영역의 전사 결과를 상호 검증하여 종합 정확도를 93.56%까지 향상시킴.
• 스캔된 덴마크 사망증명서에서 11,630개의 날짜와 11,072개의 나이로 구성된 소규모 정제된 데이터셋을 사용해 훈련 및 평가 수행.

실험 결과

연구 질문

• RQ1 비지도 레이아웃 분류가 수동 애너테이션 없이도 역사적 간호사 일기장에서 치료 관련 영역을 효과적으로 식별할 수 있는가?
• RQ2 주목 기반 모델이 스캔된 사망증명서에서 수기 글자를 전환할 때 얼마나 높은 정확도를 달성할 수 있는가?
• RQ3 분할 및 영역 수준 오류를 고려할 때 종단간 기계학습 성능은 커스터마이징된 전사와 비교해 어떻게 다른가?
• RQ4 기계학습 파이프라인은 대규모 보존 문서 컬렉션에 대해 수동 전사 부담을 줄일 수 있으며, 수용 가능한 정확도를 유지할 수 있는가?
• RQ5 영역 수준 분할은 역사적 문서에서 수기 글자 인식의 정확도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 비지도 레이아웃 분류는 간호사 일기장의 4,000페이지 평가 세트에서 정밀도와 재현율이 약 1.0을 달성하여, 전체 컬렉션 분석 없이선 발견되지 않았을 치료 할당 비준수를 드러냈다.
• 종단간 기계학습 파이프라인은 스캔된 사망증명서에서 생년과 사망연도를 전환하는 데 83.66%의 정확도를 달성했으며, 오류의 대부분은 특히 연도 구성 요소에 영향을 미치는 분할 문제에서 기인했다.
• 연도 정확도는 89.11%로 낮았고, 일은 95.92%, 월은 96.98%로 비교해 볼 때, 분할 오류가 연도 필드에 비례적으로 더 큰 영향을 미친다는 점을 시사한다.
• 전사된 나이 및 날짜 필드를 상호 검증함으로써 종단간 정확도는 93.56%까지 향상되었으며, 이는 다중 영역 일관성 검증의 가치를 입증한다.
• 완벽하게 분할된 평가 세트에서 기계학습 모델은 96%의 정확도를 달성하여, 실제 성능에서 분할 품질이 핵심 제약 요소임을 시사한다.
• 200만 건의 문서를 기계학습을 사용해 전사하는 데 드는 비용은 수동 전사에 비해 무시할 만큼 낮아, 기계학습 기반 디지털화 파이프라인의 확장성과 비용 효율성을 입증한다.