[논문 리뷰] Neural Word Search in Historical Manuscript Collections

Tomas Wilkinson, Jonas Lindström외 1명|arXiv (Cornell University)|2018. 12. 06.

Handwritten Text Recognition Techniques참고 문헌 78인용 수 5

한 줄 요약

이 논문은 역사적 문헌에서 문장 기반 검색을 위한 세분화 없이 작동하는 딥러닝 모델인 Ctrl-F-Net을 소개한다. 이 모델은 효율적인 검색을 위해 영역 제안을 동시에 생성하고 공유된 임베딩 공간에 매핑한다. 단지 11페이지의 데이터로 훈련된 이 모델은 10만页 이상의 대규모 역사적 연구를 가능하게 하여 데이터 수집 속도를 수개월에서 수십 년 단위로 빠르게 하고, 기존 최고 성능 모델을 능가한다.

ABSTRACT

We address the problem of segmenting and retrieving word images in collections of historical manuscripts given a text query. This is commonly referred to as "word spotting". To this end, we first propose an end-to-end trainable model based on deep neural networks that we dub Ctrl-F-Net. The model simultaneously generates region proposals and embeds them into a word embedding space, wherein a search is performed. We further introduce a simplified version called Ctrl-F-Mini. It is faster with similar performance, though it is limited to more easily segmented manuscripts. We evaluate both models on common benchmark datasets and surpass the previous state of the art. Finally, in collaboration with historians, we employ the Ctrl-F-Net to search within a large manuscript collection of over 100 thousand pages, written across two centuries. With only 11 training pages, we enable large scale data collection in manuscript-based historical research. This results in a speed up of data collection and the number of manuscripts processed by orders of magnitude. Given the time consuming manual work required to study old manuscripts in the humanities, quick and robust tools for word spotting has the potential to revolutionise domains like history, religion and language.

연구 동기 및 목표

• 대규모 손글씨 역사적 문헌 컬렉션에서 특정 단어를 수작업으로 검색하는 데 소요되는 시간과 자원을 줄이고 연구 범위를 확장하기 위한 도전 과제를 해결하기 위해.
• 개별 단어의 수작업 세분화나 타이핑이 필요 없는 확장 가능한 딥러닝 기반 단어 검색 솔루션을 개발하기 위해.
• 단지 텍스트 쿼리만으로도 정제되지 않은, 노이즈가 많은 역사적 문헌 컬렉션에서 관련 텍스트 조각을 효율적으로 찾아내는 데 도움을 주기 위해.
• 제한된 훈련 데이터로도 역사적 스크립트에서의 OOV(Out-of-Vocabulary) 단어에 대해 제로샷 검색의 가능성을 입증하기 위해.
• 18세기에서 19세기까지의 64권 분량의 대규모로 미사용된 역사적 문헌 컬렉션에 적용하여 실제 역사 연구에서의 방법의 타당성을 검증하기 위해.

제안 방법

• 제안된 Ctrl-F-Net 모델은 깊이 있는 합성곱 신경망을 사용하여 영역 제안을 동시에 생성하고, 유사도 기반 검색을 위한 공유된 단어 임베딩 공간에 매핑한다.
• 영역 제안은 Faster R-CNN 스타일의 백본을 통해 생성되고, 이후 공유 임베딩 헤드가 각 영역을 조밀한 벡터 표현으로 매핑한다.
• 유사한 단어 영역이 비유사한 영역보다 임베딩 공간에서 더 가까워지도록 하기 위해, 하드 음성 마이닝을 사용한 트리플릿 손실을 통해 엔드 투 엔드로 훈련된다.
• 더 쉬운 단어 세분화가 가능한 문헌을 대상으로는 정확도를 약간 희생하고도 훨씬 더 빠른 추론 속도를 확보하기 위해 단순화된 버전인 Ctrl-F-Mini를 도입한다.
• 모델는 텍스트 인코더로부터 생성된 쿼리 임베딩과 영역 임베딩 간의 코사인 유사도를 계산하여 문장 기반 검색을 수행한다.
• 표준 벤치마크에서 평가되었으며, 18세기에서 19세기의 법원 기록 10만 페이지 분량의 실제 데이터셋에 적용되었고, 훈련에 사용된 페이지 수는 단 11페이지였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 수작업 단어 세분화나 타이핑 없이도 역사적 문헌에서 정확한 단어 검색을 수행할 수 있는가?
• RQ2 제안된 엔드 투 엔드 모델이 단지 텍스트 쿼리만으로도 대규모 정제되지 않은 문헌 컬렉션에서 관련된 단어 인스턴스를 얼마나 효과적으로 검색할 수 있는가?
• RQ3 작은 수의 페이지로 훈련된 모델이 OOV 단어에 대해 얼마나 잘 일반화할 수 있는가?
• RQ4 다양한 글자 스타일, 퇴색된 잉크, 복잡한 레이아웃을 가진 문헌에서 모델의 성능은 어떠한가?
• RQ5 기존에 접근이 어려웠던 문헌 컬렉션에서 대규모 데이터 수집을 가능하게 하여 역사 연구의 속도를 크게 향상시킬 수 있는가?

주요 결과

• Ctrl-F-Net은 기준 벤치마크에서 이전 최고 성능 모델을 능가하며, IAM 데이터셋에서 평균 정밀도(MAP) 0.87을 기록했고, Snevringe 법원 기록 데이터셋에서도 기존 최고 성능을 초월했다.
• Snevringe 데이터셋에서 10개의 쿼리에 대해 랭크 1에서 정밀도 0.70, 랭크 10에서 0.68를 기록했으며, OOV 단어보다는 내부어휘 단어에서 더 높은 성능을 보였다.
• 단지 11페이지로 훈련된 모델이 10만 페이지 분량의 문헌 컬렉션에서 관련된 단어 인스턴스를 성공적으로 검색하여, 수작업 방법 대비 수개월에서 수십 년에 이르는 속도 향상을 이뤘다.
• 제한된 훈련 데이터에도 불구하고 OOV 쿼리에 대해 놀라운 강건성을 보였으며, 'gifta'(결혼한 자)에 대해 높은 정밀도를 기록하여, 제로샷 일반화 능력이 효과적으로 작동했음을 시사했다.
• 정성적인 결과는 Kurrent 스크립트를 포함한 다양한 글자 스타일을 처리할 수 있음을 보여주었지만, 훈련 데이터에서 스크립트가 과도하게 반영된 탓에 일부 잘못된 인스턴스를 검색하는 경우가 있었다.
• 제거 분석을 통해 영역 제안의 품질이 성능에 큰 영향을 미친다는 점을 확인했으며, 이에 따라 쉽게 세분화 가능한 문헌을 대상으로 더 빠른 추론을 위한 경량 버전인 Ctrl-F-Mini를 설계하게 되었다.