[논문 리뷰] A Probabilistic Framework for Lexicon-based Keyword Spotting in Handwritten Text Images

Enrique Vidal, Alejandro H. Toselli외 1명|arXiv (Cornell University)|2021. 04. 09.

Handwritten Text Recognition Techniques참고 문헌 64인용 수 6

한 줄 요약

이 논문은 수작업 전사가 불가능한 대규모 수기 문서 이미지 컬렉션을 대상으로, 사전 전사 없이 단어 수준의 분할 처리 없이 어휘 기반으로 작동하는 확률론적 키워드 검색(KWS) 프레임워크를 제안한다. 이 프레임워크는 현대적인 수기 텍스트 인식(HTR)에서 사용하는 통계 모델을 활용하여 이미지 영역 내의 단어 가능성도 직접 추정한다. 이 방법은 여러 표준 벤치마크 및 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Query by String Keyword Spotting (KWS) is here considered as a key technology for indexing large collections of handwritten text images to allow fast textual access to the contents of these collections. Under this perspective, a probabilistic framework for lexicon-based KWS in text images is presented. The presentation aims at providing a tutorial view that helps to understand the relations between classical statements of KWS and the relative challenges entailed by these statements. More specifically, the development of the proposed framework makes it self-evident that word recognition or classification implicitly or explicitly underlies any formulation of KWS. Moreover, it clearly suggests that the same statistical models and training methods successfully used for handwriting text recognition can advantageously be used also for KWS, even though KWS does not generally require or rely on any kind of previously produced image transcripts. These ideas are developed into a specific, probabilistically sound approach for segmentation-free, lexicon-based, query-by-string KWS. Experiments carried out using this approach are presented, which support the consistency and general interest of the proposed framework. Several datasets, traditionally used for KWS benchmarking are considered, with results significantly better than those previously published for these datasets. In addition, results on two new, larger handwritten text image datasets are reported, showing the great potential of the methods proposed in this paper for indexing and textual search in large collections of handwritten documents.

연구 동기 및 목표

• 수작업 전사가 불가능한 대규모 수기 텍스트 이미지 컬렉션을 대상으로 내성적이고 확장 가능한 키워드 검색 시스템을 개발하기 위해.
• 역사적 문건에서 오류가 많을 수 있는 단어 수준의 분할 처리나 전체 전사에 의존하는 전통적 KWS 방법의 한계를 해결하기 위해.
• 단어 인식 모델이 사전 이미지 전사 없이도 직접적으로 KWS에 활용될 수 있음을 입증하기 위해.
• 이미지-텍스트 공동 분포에 대한 확률론적 추론을 통해 대규모 수기 문서 컬렉션에서 효율적이고 정확한 텍스트 검색을 가능하게 하기 위해.
• 표준 벤치마크와 새로운 대규모 데이터셋을 모두 활용하여 프레임워크의 일반화 능력과 확장성을 검증하기 위해.

제안 방법

• 이 프레임워크는 워드그래프 표현을 사용하여 이미지 영역과 그 내용의 공동 확률 분포를 모델링함으로써 종단 간 확률론적 추론을 가능하게 한다.
• 현대적인 분할 처리 없이 작동하는 수기 텍스트 인식(HTR)에서 사용하는 동일한 통계 모델 및 학습 절차(예: HMM, DNN)를 KWS에 활용한다.
• 질의어의 관련성 점수는 공동 이미지-텍스트 모델을 기반으로 후행 확률로 계산되며, 명시적 분할 처리나 인식 과정을 피한다.
• 이 방법은 라인 또는 블록 수준에서 작동하며, 분할 복잡도를 줄이기 위해 이러한 단위를 검색 단위로 간주한다.
• 어휘 기반 접근 방식을 사용하며, 질의어는 학습 데이터에서 유도된 사전 정의된 어휘집에서 추출된다.
• OOV(어휘 외 단어)의 경우 유사한 어휘 내 단어를 활용한 스무딩 기법을 탐색하고 있으며, 향후 전체 문자 수준(어휘 자유) 색인화로 확장 중이다.

실험 결과

연구 질문

• RQ1 HTR 모델 기반의 통합된 확률론적 프레임워크가 사전 이미지 전사 없이도 키워드 검색에 효과적으로 적용될 수 있는가?
• RQ2 표준 및 대규모 수기 문서 데이터셋에서 분할 처리 없이 어휘 기반 KWS의 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ3 HTR에서 사용하는 동일한 통계 모델을 최소한의 수정으로 KWS에 재사용할 수 있는 정도는 어느 정도인가?
• RQ4 이 프레임워크는 어휘 외 질의어(OOV)를 어떻게 처리하며, 응답 시간과 정확도 사이의 상충 관계는 어떠한가?
• RQ5 수백만 페이지에 이르는 대규모 컬렉션에 대해 이 프레임워크는 높은 검색 정확도를 유지하면서도 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 KWS 프레임워크는 수기 텍스트 이미지 키워드 검색을 위한 여러 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 두 개의 새로운 대규모 수기 문서 데이터셋에서 이 방법은 강력한 일반화 능력과 확장성을 입증하며, 이전에 발표된 결과들보다 뚜렷이 뛰어나다.
• 이 프레임워크의 성능은 정확도 및 효율성 측면에서 이전의 어휘 기반 및 어휘 자유 KWS 방법들보다 항상 뛰어나다.
• 워드그래프를 통한 이미지-텍스트 공동 확률 모델링을 통해 명시적 단어 분할 처리나 전체 전사 없이도 견고한 키워드 검출이 가능하다.
• 실제 도메인에의 적용 잠재력이 높음을 보여주며, 이는 75,000페이지에 이르는 대규모 색인 및 실시간 질의를 지원하는 HIMANIS 검색 시스템에 통합된 것으로 입증된다.
• 유사한 확률론적 프레임워크 내에서 문자 수준 모델링을 활용한 어휘 자유 KWS에 대한 초보적 연구 결과는 OOV 질의어를 처리하면서도 성능을 유지할 수 있다는 점에서 유망한 전망을 보이고 있다.