[논문 리뷰] Connected Text Recognition Using Layered HMMs and Token Passing

Peter Ingels|ArXiv.org|1996. 07. 31.

Natural Language Processing Techniques참고 문헌 12인용 수 7

한 줄 요약

이 논문은 철자 및 분할 오류를 복구하기 위해 훈련 데이터로부터 어휘적 제약과 철자 교정을 통합한 토큰 전달 기반의 계층적 은닉 마르코프 모델(HMM) 프레임워크를 제안한다. 확률적 언어 모델과 계층적 HMM을 결합함으로써 어휘 오류 복구 능력을 향상시켜, 노이즈가 많거나 모호한 텍스트 입력 환경에서도 효과적인 성능을 보인다.

ABSTRACT

We present a novel approach to lexical error recovery on textual input. An advanced robust tokenizer has been implemented that can not only correct spelling mistakes, but also recover from segmentation errors. Apart from the orthographic considerations taken, the tokenizer also makes use of linguistic expectations extracted from a training corpus. The idea is to arrange Hidden Markov Models (HMM) in multiple layers where the HMMs in each layer are responsible for different aspects of the processing of the input. We report on experimental evaluations with alternative probabilistic language models to guide the lexical error recovery process.

연구 동기 및 목표

• 훈련 데이터로부터의 언어적 기대와 철자 교정을 결합하여 연결 텍스트 인식 시스템의 어휘 오류 복구 능력을 향상시키기.
• 계층적 HMM 아키텍처를 통해 수기 또는 노이즈가 많은 텍스트 입력에서의 분할 및 철자 오류를 해결하기.
• 다중 계층 HMM 프레임워크에 확률적 언어 모델을 통합하여 강력한 텍스트 처리를 구현하기.
• 실세계 훈련 데이터를 사용하여 오류 복구 과정을 이끄는 대안적 언어 모델을 평가하기.
• 어휘적 타당성과 철자 규칙을 모두 활용하여 인식 정확도를 향상시킬 수 있는 토크나이저 개발하기.

제안 방법

• 각 계층이 문자 인식, 단어 분할, 어휘 검증 등의 서로 다른 텍스트 처리 측면을 처리하는 계층적 HMM 아키텍처를 사용한다.
• 신뢰도 점수를 전달하고 가설을 개선하기 위해 계층 간에 토큰 전달을 적용한다.
• 기대되는 단어 형태에 기반하여 철자 및 분할 오류를 수정하기 위해 철자 규칙을 적용한다.
• 훈련 코퍼스에서 추출한 언어적 기대를 기반으로 타당한 단어 조합 선택을 이끌어낸다.
• 어휘 계층에 확률적 언어 모델을 통합하여 더 가능성이 높은 단어 조합으로 경향을 유도한다.
• 시퀀스 모델링을 위해 HMM을 사용하고 동적 프로그래밍 기법을 활용하여 가설 탐색을 최적화한다.

실험 결과

연구 질문

• RQ1 노이즈가 많거나 모호한 입력 환경에서 계층적 HMM은 연결 텍스트 인식의 강건성에 어떻게 기여하는가?
• RQ2 훈련 코퍼스에서 유도된 언어적 기대는 텍스트 인식에서 오류 복구 능력에 얼마나 기여하는가?
• RQ3 신뢰도를 HMM 계층 간에 전달하는 토큰 전달 방식은 가설 개선에 얼마나 효과적인가?
• RQ4 어휘 오류 복구 성능을 높이기 위해 어떤 확률적 언어 모델 구성이 가장 우수한가?
• RQ5 철자 및 언어적 제약 조합은 분할 및 철자 오류를 줄이는 데 효과적인가?

주요 결과

• 계층적 HMM 접근 방식은 철자 교정과 언어적 타당성의 조합을 통해 오류 복구 능력을 크게 향상시킨다.
• 훈련 데이터로부터 유도된 언어 모델을 통합함으로써, 모호하거나 손상된 입력을 해소하는 데 시스템의 능력이 향상된다.
• 토큰 전달은 HMM 계층 간에 효과적인 가설 전파를 가능하게 하여 인식 정확도를 향상시킨다.
• 시스템은 철자 오류와 분할 오류 양쪽 모두를 성공적으로 복구하며, 기준 방법보다 뛰어난 성능을 보였다.
• 실험적 평가 결과, 언어 모델 선택이 오류 복구 성능에 측정 가능한 영향을 미친다.
• 어휘적 타당성과 철자 규칙을 통합함으로써 토크나이저는 높은 오류율을 보이는 실세계 텍스트 입력에서도 뛰어난 강건성을 보였다.