[논문 리뷰] Exploiting Syntactic Structure for Natural Language Modeling

Chelba, Ciprian|ArXiv.org|2000. 01. 24.

Topic Modeling참고 문헌 27인용 수 52

한 줄 요약

이 논문은 최대우도 재추정을 통해 파arameter화된 이동-축적 파서를 사용하여 문법 구문 분석을 확률적 언어 모델링과 통합하는 구조적 언어 모델을 제안한다. 계층적 문법적 구조를 활용하여 월스트리트저널, 스위치보드, 브로드캐스트 뉴스 코퍼스에서 표준 3-그램 모델 대비 퍼플렉서티와 단어 오류율에서 뚜렷한 향상을 이루었다.

ABSTRACT

The thesis presents an attempt at using the syntactic structure in natural language for improved language models for speech recognition. The structured language model merges techniques in automatic parsing and language modeling using an original probabilistic parameterization of a shift-reduce parser. A maximum likelihood reestimation procedure belonging to the class of expectation-maximization algorithms is employed for training the model. Experiments on the Wall Street Journal, Switchboard and Broadcast News corpora show improvement in both perplexity and word error rate - word lattice rescoring - over the standard 3-gram language model. The significance of the thesis lies in presenting an original approach to language modeling that uses the hierarchical - syntactic - structure in natural language to improve on current 3-gram modeling techniques for large vocabulary speech recognition.

연구 동기 및 목표

• 대용량 어휘 연속 음성 인식을 향상시키기 위해 문법적 구조를 언어 모델링에 통합하기 위해.
• 언어 모델링을 위한 새로운 확률적 파rameterization을 갖춘 이동-축적 파서를 개발하기 위해.
• 기대값-최대화 기반 최대우도 재추정 절차를 사용하여 모델을 훈련하기 위해.
• 주요 음성 인식 코퍼스에서 표준 3-그램 언어 모델 대비 모델 성능을 평가하기 위해.
• 문법적 구조가 언어 모델 정확도와 강건성에 기여함을 입증하기 위해.

제안 방법

• 모델은 문장 내 문법적 종속성을 포착하는 확률적 파rameterization을 갖춘 이동-축적 파서를 사용한다.
• 기대값-최대화 클래스에 속하는 최대우도 재추정 절차를 사용하여 모델 파rameter를 훈련한다.
• 파서는 원시 텍스트에서 훈련되어 문법적 구조를 학습하고, 이후 언어 모델 확률 추정을 안내하는 데 사용된다.
• 모델은 문법 구성요소와 단어의 결합 확률을 계산하여 언어의 계층적 모델링을 가능하게 한다.
• 이 방법은 문법적으로 정보가 반영된 확률을 사용하여 음성 인식 시스템의 단어 레이스코어를 재계산할 수 있도록 한다.
• 퍼플렉서티와 단어 오류율 향상을 평가하기 위해 월스트리트저널, 스위치보드, 브로드캐스트 뉴스 코퍼스에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 대용량 어휘 음성 인식에서 문법적 구조를 효과적으로 활용하여 언어 모델 성능을 향상시킬 수 있는가?
• RQ2 확률적 파rameterization을 갖춘 이동-축적 파서는 표준 n-그램 모델 대비 퍼플렉서티와 단어 오류율 측면에서 어떻게 비교되는가?
• RQ3 계층적 문법적 구조는 언어 모델링에서 모호성을 어느 정도 감소시키는가?
• RQ4 파싱과 언어 모델링의 통합은 음성 인식 시스템의 성능 향상에 측정 가능한 영향을 미치는가?
• RQ5 기대값-최대화 기반 제안된 훈련 절차는 문법적 언어 모델 학습에 효과적인가?

주요 결과

• 구조적 언어 모델은 월스트리트저널, 스위치보드, 브로드캐스트 뉴스 코퍼스에서 표준 3-그램 모델보다 낮은 퍼플렉서티를 달성했다.
• 모든 세 코퍼스에서 3-그램 기준선 대비 단어 레이스코어 재계산 시 단어 오류율이 감소했다.
• 유의미한 통계적 유의성은 문법적 구조가 언어 모델링에서 가치가 있음을 입증했다.
• 최대우도 재추정 절차는 원시 텍스트에서 의미 있는 문법적 및 확률적 파rameter를 성공적으로 학습했다.
• 파싱과 언어 모델링의 통합은 특히 장거리 종속성을 다룰 때 더 정확한 언어 모델링을 이끌었다.
• 결과는 문법적 구조가 언어 모델 일반화를 향상시키는 의미 있는 유도적 편향을 제공한다는 것을 시사한다.