[논문 리뷰] Incorporating POS Tagging into Language Modeling

Peter A. Heeman, James F. Allen|ArXiv.org|1997. 05. 22.

Natural Language Processing Techniques참고 문헌 15인용 수 14

한 줄 요약

이 논문은 음성 인식 과정에서 단어 시퀀스와 그들의 품사 태그(POS)를 동시에 예측하는 새로운 언어 모델링 접근법을 제안한다. 이 방법은 POS 태그를 언어 모델의 맥락의 필수 구성 요소로 간주하고, 중간 도구로 취급하지 않는다. 풍부한 맥락적 특징(이전 단어와 그들의 POS 태그 포함)의 확률 분포를 결정 트리로 모델링함으로써, 자연스러운 음성 데이터에서 삼중어 기반 모델 대비 7.2% 감소한 퍼플렉서티를 달성하여 문법적 구조를 더 잘 모델링함으로써 인식 성능 향상을 입증한다.

ABSTRACT

Language models for speech recognition tend to concentrate solely on recognizing the words that were spoken. In this paper, we redefine the speech recognition problem so that its goal is to find both the best sequence of words and their syntactic role (part-of-speech) in the utterance. This is a necessary first step towards tightening the interaction between speech recognition and natural language understanding.

연구 동기 및 목표

• 음성 인식과 자연어 이해 간의 상호작용이 제한적인 문제를 해결하기 위해, 인식 과제를 단어와 그들의 문법적 역할을 동시에 예측하도록 재정의한다.
• 단어 시퀀스를 예측하기 위한 맥락으로 POS 태그를 활용함으로써 언어 모델 정확도를 향상시키며, 이를 보조 도구로 취급하지 않는다.
• 단어의 정체성을 POS 태그의 보완으로 모델링할 경우, 자연스러운 음성 인식에서 더 나은 일반화와 낮은 퍼플렉서티를 달성할 수 있는지 탐색한다.
• 공동 모델링 프레임워크 내에서 POS 및 단어 예측을 위한 최적의 맥락 분할을 학습하는 데에 결정 트리의 효과를 평가한다.

제안 방법

• 음성 신호가 주어졌을 때 가장 가능성 있는 단어 시퀀스와 품사 태그 시퀀스를 동시에 추정하도록 음성 인식 문제를 재정의한다: $\hat{W}\hat{P} = \arg\max_{WP} \Pr(WP|A)$.
• 공동 확률 $\Pr(W_{1,N}P_{1,N})$ 를 조건부 확률의 곱으로 표현한다: $\prod_{i=1}^{N} \Pr(W_iP_i|W_{1,i-1}P_{1,i-1})$.
• 조건부 확률를 $\Pr(W_i|W_{1,i-1}P_{1,i}) \cdot \Pr(P_i|W_{1,i-1}P_{1,i-1})$ 로 분해하며, 단어 정체성을 품사 태그 맥락의 보완으로 간주한다.
• 정보 이론적 분할 기준을 사용한 결정 트리를 활용해, 이전 단어와 그들의 품사 태그를 포함한 맥락의 등가 클래스를 자동으로 학습한다.
• 복합 질문과 비드 서치를 트리 구축 과정에 도입하여 복잡한 맥락에서의 확률 분포 추정을 향상시킨다.
• 특히 다차원적 특징이 풍부한 맥락에서의 데이터 희소성 문제를 해결하기 위해 백오프 및 스무딩 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기존의 단어 기반 n-gram 모델 대비 단어와 POS 태그를 공동으로 모델링할 경우 언어 모델의 퍼플렉서티가 향상되는가?
• RQ2 단어 정체성을 품사 태그의 보완으로 간주할 경우, 독립적인 정보 원천으로 간주하는 것보다 더 나은 일반화 성능을 보이는가?
• RQ3 결정 트리가 자연스러운 음성에서 POS 및 단어 예측을 위한 최적의 맥락 분할을 학습하는 데 얼마나 효과적인가?
• RQ4 결정 트리 학습 과정에서 복합 질문과 비드 서치를 사용할 경우 모델 성능에 어떤 영향을 미치는가?
• RQ5 품사 태그를 통한 문법적 구조 통합이 단어 오류율을 얼마나 감소시키고 자연스러운 음성 현상에 대해 얼마나 강건한가?

주요 결과

• 제안된 POS 기반 언어 모델은 자연스러운 음성 데이터의 Trains 코퍼스에서 삼중어 기반 백오프 모델 대비 7.2% 퍼플렉서티 감소를 달성했으며, 퍼플렉서티는 24.26로 26.13보다 낮다.
• Trains 코퍼스에서 모델은 POS 오류율을 2.97%로 낮추어 문법 태깅 정확도 향상을 입증했다.
• 결정 트리 구축 과정에서 복합 질문을 사용할 경우, 비복합 접근 방식 대비 단어 퍼플렉서티는 4.7% 감소하고, POS 오류율은 2.3% 감소했다.
• 트리 구축 과정에서 비드 서치를 적용하면 측정 가능한 성능 향상이 발생하며, 이는 복합 질문의 성능 향상의 일부 원인으로 기여한다.
• 모든 품사 태그 탐색을 완료한 후에 이전 맥락을 탐색하도록 제약 조건을 추가하면 성능 향상이 이루어지지만, 전체 단어 정체성 탐색을 요구하는 제약 조건은 결과를 악화시켜, 단어 수준의 보완이 품사 수준의 보완만큼 중요하지 않음을 시사한다.
• 불순성과 억양적 구문을 모델링하기 위해 확장한 결과, 퍼플렉서티는 추가로 14% 향상되어 22.5로 감소했고, POS 오류율은 9% 감소하여, NLU와의 종단 간 통합 잠재력이 높음을 보여주었다.