[논문 리뷰] Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog

Peter A. Heeman|arXiv (Cornell University)|1997. 12. 23.

Speech and dialogue systems참고 문헌 64인용 수 12

한 줄 요약

이 논문은 말의 수리, 억양 어절 경계, 논의 마커, 품사 태그를 동시에 탐지함으로써 음성 인식을 향상시키는 통계적 언어 모델을 제안한다. 이러한 조 prosodic 및 논의적 특징을 인식 과정의 일부로 모델링함으로써, 시스템은 단어 예측을 향상시키고 청취자 전환에 대해 더 풍부하고 의미적으로 더 풍부한 분석을 제공한다. 이는 침묵과 같은 청각적 신호를 소음이 아닌 정보적 신호로 활용한다.

ABSTRACT

In this thesis, we present a statistical language model for resolving speech repairs, intonational boundaries and discourse markers. Rather than finding the best word interpretation for an acoustic signal, we redefine the speech recognition problem to so that it also identifies the POS tags, discourse markers, speech repairs and intonational phrase endings (a major cue in determining utterance units). Adding these extra elements to the speech recognition problem actually allows it to better predict the words involved, since we are able to make use of the predictions of boundary tones, discourse markers and speech repairs to better account for what word will occur next. Furthermore, we can take advantage of acoustic information, such as silence information, which tends to co-occur with speech repairs and intonational phrase endings, that current language models can only regard as noise in the acoustic signal. The output of this language model is a much fuller account of the speaker's turn, with part-of-speech assigned to each word, intonation phrase endings and discourse markers identified, and speech repairs detected and corrected. In fact, the identification of the intonational phrase endings, discourse markers, and resolution of the speech repairs allows the speech recognizer to model the speaker's utterances, rather than simply the words involved, and thus it can return a more meaningful analysis of the speaker's turn for later processing.

연구 동기 및 목표

• 단어 순서를 초월한 prosodic 및 논의적 특징을 모델링하여 음성 인식을 향상시키기.
• 침묵과 prosodic 신호를 소음으로 간주하는 전통적 언어 모델의 한계를 해결하기.
• 억양 어절 경계와 논의 마커를 식별함으로써 더 정확하고 의미적으로 더 풍부한 말 발화의 해석을 가능하게 하기.
• 말의 수리와 품사 태깅을 인식 파이프라인에 통합하여 더 나은 맥락 예측을 가능하게 하기.
• 말하는 이 수준의 발화 구조를 모델링함으로써 단어 예측과 인식 정확도가 향상됨을 보여주기.

제안 방법

• 모델은 전통적인 언어 모델링을 확장하여 단어 순서와 함께 품사 태그, 억양 어절 경계, 논의 마커, 말의 수리를 동시에 예측한다.
• 침묵 지속 시간과 같은 청각적 특징을 수리와 억양 경계와 관련된 정보적 신호로 사용한다.
• 언어 단위와 prosodic 특징 간의 종속성을 모델링하기 위해 조건부 랜덤 필드(CRF)-유사 프레임워크를 사용한다.
• 말의 수리는 발화 구조 내에서 불순성 마커와 그 수정을 식별함으로써 탐지하고 해결한다.
• prosodic 신호를 언어 모델링 과정에 통합하여 논의와 억양에 대한 맥락 인식을 통해 다음 단어 예측을 향상시킨다.
• 인식 작업을 구조적 예측 문제로 간주하며, 각 발화에 대해 상호 의존적인 다중 annotation을 출력한다.

실험 결과

연구 질문

• RQ1 말의 수리, 억양 경계, 논의 마커를 모델링하면 음성 인식에서 단어 예측 정확도가 향상되는가?
• RQ2 침묵과 같은 청각적 신호를 언어 모델링에서 정보적 특징으로 활용할 수 있는가, 소음으로 간주하지 않고서는?
• RQ3 prosodic 및 논의적 구조를 통합할 경우, 말 발화 분석의 해석 가능성과 정확도는 어느 정도 향상되는가?
• RQ4 품사 태그, 수리, 억양 어절 경계의 공동 모델링이 전체 인식 성능 향상에 기여하는가?
• RQ5 논의 마커와 경계 탐지의 포함이 더 자연스럽고 의미적으로 더 풍부한 말하는 이의 전환 표현을 가능하게 하는가?

주요 결과

• prosodic 및 논의적 특징의 공동 모델링은 더 풍부한 맥락 제약을 제공함으로써 단어 예측 정확도 향상에 기여한다.
• 청각적 침묵이 말의 수리와 억양 어절 경계와 함께 공존하는 것으로 나타나, 탐지에 있어 유용한 신호로 기능한다.
• 모델은 말의 수리를 성공적으로 식별하고 보정하여 더 일관되고 정확한 발화 표현을 생성한다.
• 억양 어절 경계와 논의 마커는 효과적으로 탐지되어 말하는 이의 전환을 의미 있는 논의 단위로 더 잘 분할할 수 있게 한다.
• 이러한 특징의 포함은 표준 단어 수준의 인식에 비해 더 완전하고 의미적으로 더 풍부한 말하는 이의 발화 분석을 가능하게 한다.
• 시스템은 말하는 이 수준의 구조를 단어를 초월해 모델링할 경우, 말 언어 이해의 품질이 크게 향상됨을 보여준다.